[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

摘要

基于方面的情感分析 (ABSA) 涉及三个基本子任务:方面术语提取、观点术语提取和方面级情感分类。早期的工作只专注于单独解决这些子任务之一。最近的一些工作集中在解决两个子任务的组合,例如,提取方面术语和情感极性,或者成对地提取方面和意见术语。最近,已经提出了三元组提取任务,即从句子中提取(方面项、意见项、情感极性)三元组。然而,以前的方法无法解决统一的端到端框架中的所有子任务。在本文中,我们提出了一个完整的 ABSA 解决方案。我们构建了两个机器阅读理解 (MRC) 问题,并通过联合训练两个具有参数共享的 BERT-MRC 模型来解决所有子任务。我们对这些子任务进行了实验,并且在几个基准数据集上的结果证明了我们提出的框架的有效性,它明显优于现有的最先进的方法。
在本文中,我们提出了一个联合训练框架,以在一个模型中处理所有ABSA子任务(如图1所述)。我们使用BERT(Devlin等人2019)作为我们的骨干网络,并使用基于跨度的模型从句子中检测AT / OT的开始/结束位置。基于Span的方法优于传统的基于序列标记的提取任务方法(Hu等人,2019)。根据其思想,使用了一种基于非最大抑制算法(NMS)的启发式多跨度解码算法(罗森菲尔德和瑟斯顿1971)。

我们将原始的三元组提取任务转换为两个机器阅读理解(MRC)问题。如果使用预先训练的BERT模型,则已知MRC方法有效。原因可能是BERT通常使用下一个句子预测进行预先训练,以捕获成对的句子关系。从理论上讲,三元组提取任务可以分解为子任务AE,AOE和SC。因此,我们使用左MRC处理AE,使用右MRC处理 AOE 和 SC。

贡献:

  • 我们展示了三重提取任务可以由三个目标联合训练。
  • 我们提出了一个双MRC框架,可以处理ABSA中的所有子任务(如表1所示)。
  • 我们进行实验以比较我们提出的框架关于这些任务。实验结果表明,所提方法优于现有方法。
    在这里插入图片描述

模型

三元组抽取的联合训练

ABSA的任务:

在这里插入图片描述

  • AE: AT extraction 方面术语提取
  • OE: OT extraction 观点术语提取
  • SC: aspect-level sentiment classification 方面级情感分类
  • AESC : AT extraction and sentiment classification 方面术语提取和情感分类
  • AOE : aspect-oriented OT extraction 方面词导向的观点术语提取
  • Pair: (AT, OT) pair extraction (方面术语,观点术语)对提取
  • Triple: (AT, OT, SP) triple extraction(方面术语,观点术语,情感极性)三元组提取

其它子任务可以被当作三元组提取任务的特殊情况。

给定最大长度为n的句子[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis是输入句子[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis的三元组输出。对于训练集[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis, 最大似然:

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

定义:

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis的对数似然:

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

最后一个等式成立,因为在给定句子[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis和方面术语[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis的情况下,观点术语[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis和情感极性[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis是有条件独立的。

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

我们在[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis上求和,并对两边进行归一化,然后我们得到以下形式的对数似然:

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

从上式,我们可能得出结论三元组抽取任务可以转换为AE, SC, AOE的联合训练。

双-MRC结构

在这里插入图片描述

两个部分都使用 BERT作为它们的backbone来编码上下文信息。BERT 是一个基于多层双向 Transformer 的语言表示模型。令 [论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis 表示句子长度,[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis 表示隐藏维度。

假设最后一层的输出为[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis,用来提取,[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis代表左/右,[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis代表start/end。

  • 左侧

从给定的文本中提取所有的AT方面术语→完成AE任务。对于左边的部分,我们得到start/end位置的对数和概率。

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

loss:

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis是AT方面术语的开始和结束位置的真值。

  • 右侧

提取所有的OT观点术语和找到对应的具体AT的情感极性。

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysisq情感极性:

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

交叉熵loss:[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

最小化联合训练loss:

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis

MRC数据集转换

在这里插入图片描述

在将原始三元组注释输入联合训练 dualMRC 模型之前,必须对其进行转换。两个 MRC 都使用输入句子作为它们的上下文。

左 MRC 的query:

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis = “Find the aspect terms in the text.”

已知AT,右MRC的query:

[论文阅读]A Joint Training Dual-MRC Framework for Aspect Based Sentiment Analysis = “Find the sentiment polarity and opinion terms for AT in the text.”

右侧 MRC 的输出是所有 OT 和给定 AT 的情感极性。一个重要的问题是,右侧 MRC 的数量等于 AT 的数量,因此,左侧 MRC 重复该次数。

推理过程

在这里插入图片描述

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年10月8日 下午8:58
下一篇 2022年10月8日 下午9:01

相关推荐

本站注重文章个人版权,不会主动收集付费或者带有商业版权的文章,如果出现侵权情况只可能是作者后期更改了版权声明,如果出现这种情况请主动联系我们,我们看到会在第一时间删除!本站专注于人工智能高质量优质文章收集,方便各位学者快速找到学习资源,本站收集的文章都会附上文章出处,如果不愿意分享到本平台,我们会第一时间删除!