周报 23

字数统计: 497字   |   阅读时长≈ 1分

author:魏静崎
2024年5月28日
研究方向：虚假信息检测

思考：是否可以连接两个教师模型，比如特征向量加权拼接并多次影响学生模型，或者加上注意力机制。

本周工作内容：

1、阅读论文 Dual-Teacher De-biasing Distillation Framework for Multi-domain Fake News Detection

该论文模型DTDBD使用一个无偏置教师模型和一个干净教师模型组成，共同指导学生模型减轻其领域偏差并保持性能。

模糊标签考虑：一条新闻常常与多个领域相关，领域标签应该反应新闻与每个领域的相似程度，整合模糊标签有助于识别单一领域范围的潜在新闻。来自不同领域的新闻有很高的相关性，消除这种相关性会削弱新闻和其真实性之间的联系。因此改文章采用了一种双教师知识蒸馏框架，以达到消除新闻和领域之间虚假的相关性并保留真实相关性的目的。

知识蒸馏：旨在最小化其logtis之间的差异，使学生模型可以从教师模型中学习。
对抗去偏置蒸馏：通过使用无偏教师与无偏置分布的相关知识转移给学生模型来减轻领域偏差。使用中间特征作为无偏分布的知识，采用欧氏距离衡量样本之间的相关性，然后在中间层进行对抗去偏置蒸馏，使学生模型能够学习到无偏教师掌握的样本之间的相关性。
领域知识蒸馏：利用干净教师将领域特定知识转移给学生模型，使其能够有效处理不同领域的细微差异和特征。
![[1716950751833.png]]
无偏教师：MDFEND和M3FEND
干净教师和学生模型：TextCNN-S

实验结果：
![[1716951117643.png]]

消融研究：
![[1716951138912.png]]

赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

还在学习中的在读硕士，网站可能有些连接暂无法正常使用，有问题可以联系QQ:2863826649