情感分析近三年顶会个人总结（基于introduction层面）(三)

骑着乌龟追月亮

前篇：

21 Structured Sentiment Analysis as Dependency Graph Parsing（结构化情感分析即依存图分析）（2021ACL）

背景

结构化情感分析试图从文本中提取完整的观点元组，但随着时间的推移，这项任务已被细分为越来越小的子任务，例如，目标提取或目标极性分类。我们认为，这种划分已起反作用，并提出一个新的统一框架来补救这种情况。
结构化情感分析：结构化情感分析，即预测图1所示的结构化情感图的任务，理论上可以视为一个信息提取问题，在这个问题中，人们试图找到所有的观点元组O。在一个文本中。每个观点 O_{i} 是一个元组 (h;t;e;P) 其中h是一个持有者，通过情感表达e表达了对目标t的极性P，隐式地定义了同一元组元素之间的成对关系。Liu(2012)认为，所有这些要素对于完全解决情感分析问题至关重要。


然而，大多数情感分析研究要么集中在各种子任务上，避免执行完整任务，要么集中在简化和理想化的任务上，例如句子级别的二值极性分类。
将结构化情感划分为这些子任务已经变得适得其反，因为所报告的实验往往对pipeline的给定添加是否提高了情感的整体解决方案不敏感，或者没有考虑到各种子任务的相互依赖性。
提出

本文提出一种结构化情感的统一方法，联合预测观点元组的所有元素及其关系。此外，我们将情感分析问题转换为依存图解析问题，其中情感表达是根节点，其他元素用弧线表示它们之间的关系。这种方法还使我们能够利用语义依存分析的最新改进(Dozat和Manning, 2018; openen等人，2020;Kurtz等人，2020)，以高效地学习情感图解析器。
这个视角还允许我们统一一些方法，包括目标和观点元组挖掘。本文旨在回答RQ1:基于图的结构化情感方法是否优于最先进的序列标注方法，以及RQ2:如何最好地将结构化情感编码为解析图
进一步提出了利用句法依赖将语言结构注入情感图的方法。
我们的分析表明，利用句法依存信息来细化情感图可以进一步提高结果。

contribution 1（/4）通过情感图解析提出了一种结构化情感的整体方法

contribution 2（/4）引入了新的评估指标来衡量模型性能

contribution 3（/4）广泛的实验结果优于最先进的基线

contribution 4（/4）我们发布了代码和数据集3，以便将来解决这个问题。

多模态

22 Trimodal Attention Module for Multimodal Sentiment Analysis (Student Abstract)（用于多模态情感分析的三模态注意模块(学生摘要)）2020AAAI

背景

本文使用的3种模态是文本、音频和视频。
目前的方法大多只处理特征级融合或决策级融合。由于多头注意力机制在机器翻译中的成功(Vaswani et al. 2017)，我们使用了一个定制版本的注意力机制来完成情感分类任务。
提出

本文提出了一种基于注意力的深度神经网络和一种训练方法，以促进特征和决策级融合。该网络通过两阶段融合过程有效地利用了所有三种模态的信息。
该方法还提供了一种屏蔽输入序列的方法，用它来归纳因果关系，并帮助有效实现网络。
方法

本文提出了一种新的特征融合方法，分为两个阶段。第一种发生在早期，在特征级别上。这种早期融合有助于有效地对3种模态的复杂相互依赖关系进行建模。接下来是二次决策级融合。第二阶段比较简单，强调每个模态的最终贡献。这种新的两级融合有助于更好的校准，以获得更优的性能。
23 CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusion Network（2021ACL）

背景

多模态情感分析关注多种异构模态的融合，是一个具有挑战性的研究领域。而现在主要的挑战是在多模态融合过程中出现一些模态缺失。然而，现有技术需要所有模态作为输入，因此对预测时缺失的模态很敏感（直观上，由于不同信息源之间的一致性和互补性，联合表示用于推理多模态信息，能够提高特定任务的性能）。
提出

本文首先提出了耦合翻译融合网络(coupled-translation fusion network, CTFN)，通过耦合学习对双向交互进行建模，保证了对缺失模态的鲁棒性。提出循环一致性约束来提高翻译性能，允许直接丢弃解码器，只包含Transformer的编码器。这可以促成一个更轻的模型。
通过耦合学习，CTFN能够并行地进行双向跨模态交互。在CTFN的基础上，进一步建立了一个层次化的架构来利用多个双向翻译，建立了模态引导翻译的层次结构，与传统的翻译方法相比，得到了双重多模态融合嵌入。
然后，提出卷积融合块，进一步探索上述翻译之间的显式相关性。
重要的是，基于并行融合策略，CTFN模型在仅考虑一种输入模态时仍具有灵活性和鲁棒性。
24 Joint Multi-modal Aspect-Sentiment Analysis with Auxiliary Cross-modal Relation Detection（联合多模态方面情感分析与辅助跨模态关系检测）（2021EMNLP）

多模态方面级情感分析(MALSA)
背景

方面术语抽取(ATE)和方面情感分类(ASC)是方面级情感分析(ALSA)中两个基础的细粒度子任务。在文本分析中，联合提取方面术语和情感极性比单独的子任务具有更好的实用性（(Wan et al., 2020;Chen and Qian, 2020b; Ying et al., 2020)），因此受到了广泛关注。然而，在多模态场景下，现有研究局限于独立处理每个子任务，未能建模上述两个目标之间的固有联系，并忽略了更好的应用。
提出

因此，文中首次联合执行了多模态ATE (MATE)和ASC (MASC)，并提出了一种辅助跨模态关系检测的多模态联合学习方法用于多模态方面级情感分析(MALSA)。
对于此任务，作者认为至少存在两个方面的挑战。
一方面，视觉模态不一定对文本模态下的信息有拓展作用。因此，一个表现良好的方法应该确定视觉信息是否添加到文本模态中(跨模态关系检测)以及视觉信息对文本的贡献有多大。
另一方面，两个多模态子任务的特点不同:一个是序列标注问题，另一个是方面依赖分类问题。不同的任务似乎关注不同的图像信息（前者只用观察粗粒度的信息就可判断是文本中的具体的人，而后者需要观察更加细致的表情）。因此，一个良好的方法应该分别挖掘这两个子任务的视觉信息，而不是使用相同的视觉输入进行折叠标记。
方法

• 首先构建一个辅助的文本-图像关系检测模块，以控制视觉信息的合理利用
  
• 其次，利用联合分层框架代替折叠标签框架，分别关注每个子任务的有效视觉信息
  
• 最后，根据联合提取的特定方面情感极性，得到所有方面级情感极性
  

广泛的实验表明，该方法对联合文本方法、管道和坍缩多模态方法的有效性。
25 Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment Analysis（2021EMNLP）

背景

在多模态情感分析(MSA)中，模型的性能高度依赖于合成嵌入的质量。这些嵌入是从称为多模态融合的上游过程生成的，其目的是提取和组合输入的单模态原始数据，以产生更丰富的多模态表示。通常，同一数据段中的不同模态往往是互补的，为语义和情感消歧提供了额外的线索。
现有的学习统一表示的方法分为两类:通过损失反向传播或在特征空间中的几何操作
前者仅根据任务损失、重建损失或附属任务损失的反向传播梯度来调整参数，后者通过矩阵分解或欧氏测度优化对单模态或多模态表示的空间方向进行额外矫正。
这些方法局限于从原始输入到融合嵌入的信息流缺乏控制，可能会丢失实际信息并引入每个模态携带的意外噪声
为了缓解这个问题，与之前的工作不同，本文利用了互信息(MI)的功能，这是一个来自信息论主题的概念。（MI度量成对多维变量之间的依赖关系。他能删除与下游任务无关的冗余信息，并捕获跨时间或不同域的不变趋势或消息，在表征学习取得巨大的成功）
提出

本文提出一种多模态信息最大化框架(MultiModal InfoMax, MMIM)，分层最大化多模态融合中的互信息(Mutual Information, MI)，以便通过多模态融合保持任务相关的信息。增强了表示对中的两类互信息：单模态表示之间，以及融合结果与其低水平单模态表示之间。
该框架与主任务(MSA)联合训练，以提高下游MSA任务的性能。

contribution 1（/3）本文提出一种面向多模态情感分析的分层MI最大化框架。MI最大化发生在输入层和融合层，以减少有价值的任务相关信息的损失。据我们所知，这是第一次尝试弥合MI和MSA。

由于互信息的难解性(Belghazi等人，2018)，研究人员总是为此提高MI下界。然而，我们发现在我们的公式中仍然很难计算出这些下界表达式中的一些项。因此，为了方便准确地估计这些项，本文提出了一种基于数据和模型特征的由参数和非参数部分组成的混合方法。参数部分指的是基于神经网络的方法，而非参数部分我们采用了一个无学习参数估计的高斯混合模型(GMM)。

contribution 2（/3）在框架中制定计算细节来解决棘手问题。该模型包括参数学习和具有稳定光滑参数估计的非参数GMM。

contribution 3（/3）在两个公开的数据集上进行了全面的实验，获得了优于或可比的结果，优于最先进的模型。

26 Sentiment Word Aware Multimodal Refinement for Multimodal Sentiment Analysis with ASR Errors（带有ASR错误的多模态情感分析的情感词感知多模态精化）（2022ACL）

背景

最先进的模型在实际部署时性能急剧下降。研究发现，造成这一现象的主要原因是现实世界的应用程序只能访问自动语音识别(automatic speech recognition, ASR)模型输出的文本，由于模型容量的限制，可能会出现错误。也就是说，语音识别过程可能会识别错误一些次，如果是情感词替换错误会严重影响现有的MSA模型。
通过对ASR输出结果的进一步分析，我们发现在某些情况下，文本模态中的关键情感元素情感词被识别为其他词，这使得文本的情感发生了变化，直接影响了多模态情感分析模型的性能。

contribution 2 (/3)通过深入分析，验证了情感词替换错误对MSA模型的负面影响

提出

针对这一问题，本文提出了情感词感知的多模态精炼模型(sentiment word aware multi - modal refinement model, SWRM)，利用多模态情感线索动态精炼错误情感词。

contribution 1（/3）提出了一种情感词感知的多模态情感精化模型，该模型能够利用多模态情感信息动态重建有错误的ASR文本情感语义，从而实现更鲁棒的情感预测

该方法能够检测文本中情感词的位置，并通过融合多模态线索动态精炼情感词在该位置上的词嵌入。将精炼后的嵌入向量作为多模态特征融合模块的文本输入，预测情感标签。如下


具体方法：

我们考虑利用多模态情感信息，即低声音和悲伤面孔所传递的负面情感，以及文本上下文信息来帮助模型重构输入向量的情感语义。
具体而言，首先利用情感词定位模块检测情感词的位置，同时利用强语言模型BERT生成候选情感词；
然后提出多模态情感词精化模块，基于多模态上下文信息精化词向量。
精化过程包括过滤和添加两部分。在过滤过程中使用多模态门控网络过滤输入词向量中的无用信息，在添加过程中使用多模态情感词注意力网络利用候选情感词中的有用信息作为过滤后词向量的补充。
最后，将精炼后的情感词向量用于多模态特征融合。

contribution 3(/3) 在三个真实数据集上评估了该模型，实验结果表明，该模型优于所有基线。

27 Vision-Language Pre-Training for Multimodal Aspect-Based Sentiment Analysis（面向多模态方面情感分析的视觉-语言预训练）（2022ACL）

背景

对MABSA的大多数研究主要集中在使用预训练单模态模型(例如，用于文本的BERT和用于图像的ResNet)分别获取文本和视觉特征。单独的视觉和文本特征预训练忽略了文本和图像之间的对齐。因此，进行视觉-语言预训练以捕获这种跨模态对齐至关重要。然而，对于MABSA任务，关于视觉-语言预训练的研究仍然缺乏。
此外，很少有研究关注于MABSA子任务之一的视觉-语言预训练。这些研究的一个主要缺点是它们主要采用一般视觉语言理解任务（比如text-image matching和masked language modeling）来捕捉文本-图像对齐。这种通用的预训练不足以识别细粒度的方面、观点及其在语言和视觉模态中的对齐。因此，设计特定任务的视觉-语言预训练，对MABSA任务的方面、观点及其对齐进行建模是很重要的。
提出

为解决这些限制，本文提出一种特定任务的MABSA视觉-语言预训练框架(VLPMABSA)，这是一个统一的多模态编码器-解码器架构，用于所有预训练和下游任务。我们进一步从语言、视觉和多模态中设计了三种类型的特定任务预训练任务。
受基于BART的生成模型最近在基于文本的ABSA中的成功启发(Yan等人，2021)，本文首先构建了一个基于BART的生成式多模态架构(Lewis等人，2020)，用于视觉-语言预训练和下游的MABSA任务。

contribution 1（/3）本文提出一种特定任务的MABSA视觉-语言预训练框架VLP-MABSA，这是一个统一的多模态编码器-解码器架构，用于所有预训练和下游任务。

进一步我们提出了三种类型的视觉-语言预训练任务，包括

• 语言模态的掩码语言建模(MLM)和文本方面-意见提取(AOE)
  
• 视觉模态的掩码区域建模(MRM)和视觉方面-意见生成(AOG)
  
• 跨两种模态的多模态情感预测(MSP)。
  

contribution 2(/3) 除了一般的MLM和MRM任务外，进一步引入了三个特定于任务的预训练任务，包括文本方面-观点提取、视觉方面-观点生成和多模态情感预测，以识别细粒度的方面、观点及其跨模态对齐。

方法

图1说明了我们提出的预训练方法的整个框架。与一般的预训练方法相比，所提出的特定于任务的预训练方法纳入了多模态方面、观点和情感监督，指导预训练模型捕捉MABSA任务的重要客观和主观信息。

contribution 3(/3) 在三个MABSA子任务上的实验表明，所提出的预训练方法通常比最先进的方法获得显著的性能提升。对有监督和弱监督设置的进一步分析证明了每个预训练任务的有效性。

28 M-SENA: An Integrated Platform for Multimodal Sentiment Analysis（M-SENA:多模态情感分析集成平台）（2022ACL）

M-SENA是一个开源的多模态情感分析平台。它旨在通过提供灵活的工具包、可靠的基准和直观的演示来促进高级研究。该平台具有由数据管理、特征提取、模型训练、结果分析等模块组成的全模块化的视频情感分析框架。
29 SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis（情感知识增强情感分析前训练）（2020ACL）

背景

最近，情感分析在预训练方法的帮助下取得了显著进展。这些方法建立了词级的无监督目标，如掩码策略，下一个词的预测或者置换（permutation）。这种基于单词预测的目标显示出了捕捉单词和句法结构之间依赖关系的强大能力。然而，传统情感分析方法中广泛使用的情感词和方面-情感对等情感知识在预训练过程中被忽略，很难期望这种预训练的通用表示为情感分析提供最佳结果
提出

本文提出情感知识增强预训练(Sentiment Knowledge Enhanced Pre-training，SKEP)，SKEP将不同类型的情感知识集成在一起，为各种情感分析任务提供了统一的情感表示(这与传统的情感分析方法有很大的不同，传统方法通常针对特定的情感任务分别研究不同类型的情感知识）。
SKEP借助自动挖掘的知识进行情感屏蔽，构建3个情感知识预测目标，将词、极性和方面层面的情感信息嵌入到预训练的情感表示中（首先从无标签数据中自动挖掘情感知识(第3.1节)。通过挖掘出的知识，情感屏蔽(第3.2节)从输入文本中移除情感信息。然后，训练预训练模型以恢复包含三个情感目标的情感信息）。特别地，将方面-情感对的预测转化为多标签分类，旨在捕获一对中单词之间的依赖关系。

contribution 1(/3) 本文提出情感知识增强的情感分析预训练，为多个情感分析任务提供统一的情感表示。

contribution 2(/3) 在预训练阶段联合优化3个情感知识预测目标，从而将情感词、极性、方面-情感对嵌入到表示中。特别地，将方面对预测转换为多标签分类，以捕获属性和情感之间的依赖关系。

contribution 3(/3) SKEP在三个典型的情感任务上明显优于强大的预训练方法RoBERTa (Liu等人，2019)，并在大多数测试数据集上取得了最新的结果。

30 Sentiment Analysis of Tweets using Heterogeneous Multi-layer Network Representation and Embedding（基于异构多层网络表示与嵌入的推文情感分析）（2020EMNLP）

背景

推文情感分类通常需要处理特指度低、噪声和多语言内容等问题。

• 由于文本限制而缺乏特指性
  
• 自由形式的写作，如存在用户定义的标签、提及、表情符号
  
• 由于存在短、长、多语言、音译文本和拼写错误而产生的噪声文本。
  

提出

针对上述问题，提出一种基于异质多层网络的推文表示方法来生成推文的多种表示。多层网络是由连接不同层网络构成的网络。例如，通过连接不同层次的提及网络、标签网络和关键词网络，可以形成一个异构的多层网络。

contribution 1（/4） 将推文转换为多层网络

使用基于神经的早期融合方法进一步集成和分类生成的表示。实验结果表明，与基于文本的方法相比，该方法能够有效解决微博特指度低、噪声和多语言内容的问题，具有更好的分类性能。本文使用多层网络的动机如下。

• 利用有效的网络嵌入方法捕获关键词、标签和提及之间的语义关系。
  
• 利用相关节点对网络进行扩展，或去除不相关节点后对网络进行收缩，可以降低噪声和特异性不足
  
• 此外，共现的关键词、标签和提及通常共享语义关系
  

contribution 4（/4）它还通过扩展或收缩表示推文的网络来解决情感分类的特异性不足和噪声文本。

提出了一种中心性感知的随机游走，用于节点嵌入和推文表示，适用于多层网络。所提出的基于中心性感知的随机游走比无偏和其他有偏的对应方法提供了更好的表示。

contribution 2（/4）在多层网络上提出了一种中心性感知的随机游走

contribution 3（/4）使用基于中心性感知的随机游走生成推文的多种表示，并构建基于早期融合的神经情感分类器。

下片：

愚蠢的时代

顶起顶起顶起