企业官网建设流程全解析

个人网页设计作品简约,手机360网站seo优化,网站建设公司专业的建站优化公司,WordPress企业显示前言 本文阅读论文《Modality Perception Learning-Based Determinative Factor Discovery for MultimodalFake News Detection》。虚假新闻通常依赖夸张的语言风格、篡改的图像、不一致的多模态上下文等特征。虚假新闻检测应遵循“逻辑与”原则#xff0c;即便大部分内容合理…前言本文阅读论文《Modality Perception Learning-Based Determinative Factor Discovery for MultimodalFake News Detection》。虚假新闻通常依赖夸张的语言风格、篡改的图像、不一致的多模态上下文等特征。虚假新闻检测应遵循“逻辑与”原则即便大部分内容合理只要存在少量不合理内容即可判定为虚假。核心内容细节问题现有方法关注于多模态的一致性和设计复杂的特征提取器而忽略了模态间的语义差异。例如下图中文本与图像在表面上一致但隐含夸张文本与篡改图像。方法首先利用CLIP预训练编码器与模态特定编码器分别提取模态一致与模态特定特征然后进行多层次跨模态融合最后根据模态异质性分数动态加权不同特征。贡献设计双重编码模块融合CLIP编码与模态特定编码引入可学习的记忆信息增强特征表示能力构建多层次跨模态融合模块深入理解模态间复杂关联提出模态感知学习模块根据模态分布差异自适应加权特征。文章目录前言一、现有方法二、本文方法总结一、现有方法分类方法单模态基于文本的检测关注假新闻的语言特征如夸张、煽动性。基于视觉的检测关注图像是否被篡改、是否具有误导性。多模态多模态信息融合方法分别提取文本和图像特征再进行融合。模态相似性度量方法通过衡量文本与图像之间的语义一致性来辅助检测。基于图神经网络与外部知识的方法引入知识图谱或社交网络信息增强表示。二、本文方法对于某一特征用 CNN 提取模态特定的特征用 CLIP 提取一致特征然后拼接。其中文本编码器是 CNN 池化图像编码器是 ResNet-50引入可学习的记忆向量以提取不同模态特征真假模式并进一步与提取的特征拼接使用多头自注意力增强每个模态自身的特征表示模仿人类先看图片辅助理解文字的习惯以图像特征作为 Q文本特征作为 K 和 V通过跨模态注意力让图像信息增强文本信息f t v f_{tv}ftv​。然后模仿人类反复对照图文、捕捉深层线索的行为进一步增强文本信息同时使用视觉增强的文本特征作为 Q 增强原始图像特征用VAE将文本特征和图像特征分别映射到潜在空间然后计算二者的 KL 散度并用 sigmoid 将其映射到 0-1 区间。h hh越大图文越不一致将h hh作为多模态融合特征权重1 − h 1-h1−h作为单模态特征权重将加权后的四个特征拼接起来并送入一个全连接层分类器进行真假二分类。总结文章的动机有点以结果为导向。