摘要
基于方面的情感分析 (ABSA) 涉及三个基本子任务:方面术语提取、观点术语提取和方面级情感分类。早期的工作只专注于单独解决这些子任务之一。最近的一些工作集中在解决两个子任务的组合,例如,提取方面术语和情感极性,或者成对地提取方面和意见术语。最近,已经提出了三元组提取任务,即从句子中提取(方面项、意见项、情感极性)三元组。然而,以前的方法无法解决统一的端到端框架中的所有子任务。在本文中,我们提出了一个完整的 ABSA 解决方案。我们构建了两个机器阅读理解 (MRC) 问题,并通过联合训练两个具有参数共享的 BERT-MRC 模型来解决所有子任务。我们对这些子任务进行了实验,并且在几个基准数据集上的结果证明了我们提出的框架的有效性,它明显优于现有的最先进的方法。
在本文中,我们提出了一个联合训练框架,以在一个模型中处理所有ABSA子任务(如图1所述)。我们使用BERT(Devlin等人2019)作为我们的骨干网络,并使用基于跨度的模型从句子中检测AT / OT的开始/结束位置。基于Span的方法优于传统的基于序列标记的提取任务方法(Hu等人,2019)。根据其思想,使用了一种基于非最大抑制算法(NMS)的启发式多跨度解码算法(罗森菲尔德和瑟斯顿1971)。
我们将原始的三元组提取任务转换为两个机器阅读理解(MRC)问题。如果使用预先训练的BERT模型,则已知MRC方法有效。原因可能是BERT通常使用下一个句子预测进行预先训练,以捕获成对的句子关系。从理论上讲,三元组提取任务可以分解为子任务AE,AOE和SC。因此,我们使用左MRC处理AE,使用右MRC处理 AOE 和 SC。
贡献:
- 我们展示了三重提取任务可以由三个目标联合训练。
- 我们提出了一个双MRC框架,可以处理ABSA中的所有子任务(如表1所示)。
- 我们进行实验以比较我们提出的框架关于这些任务。实验结果表明,所提方法优于现有方法。
模型
三元组抽取的联合训练
ABSA的任务:
- AE: AT extraction 方面术语提取
- OE: OT extraction 观点术语提取
- SC: aspect-level sentiment classification 方面级情感分类
- AESC : AT extraction and sentiment classification 方面术语提取和情感分类
- AOE : aspect-oriented OT extraction 方面词导向的观点术语提取
- Pair: (AT, OT) pair extraction (方面术语,观点术语)对提取
- Triple: (AT, OT, SP) triple extraction(方面术语,观点术语,情感极性)三元组提取
其它子任务可以被当作三元组提取任务的特殊情况。
给定最大长度为n的句子,
是输入句子
的三元组输出。对于训练集
, 最大似然:
定义:
的对数似然:
最后一个等式成立,因为在给定句子和方面术语
的情况下,观点术语
和情感极性
是有条件独立的。
我们在上求和,并对两边进行归一化,然后我们得到以下形式的对数似然:
从上式,我们可能得出结论三元组抽取任务可以转换为AE, SC, AOE的联合训练。
双-MRC结构
两个部分都使用 BERT作为它们的backbone来编码上下文信息。BERT 是一个基于多层双向 Transformer 的语言表示模型。令 表示句子长度,
表示隐藏维度。
假设最后一层的输出为,用来提取,
代表左/右,
代表start/end。
- 左侧
从给定的文本中提取所有的AT方面术语→完成AE任务。对于左边的部分,我们得到start/end位置的对数和概率。
loss:
和
是AT方面术语的开始和结束位置的真值。
- 右侧
提取所有的OT观点术语和找到对应的具体AT的情感极性。
q情感极性:
交叉熵loss:
最小化联合训练loss:
MRC数据集转换
在将原始三元组注释输入联合训练 dualMRC 模型之前,必须对其进行转换。两个 MRC 都使用输入句子作为它们的上下文。
左 MRC 的query:
= “Find the aspect terms in the text.”
已知AT,右MRC的query:
= “Find the sentiment polarity and opinion terms for AT in the text.”
右侧 MRC 的输出是所有 OT 和给定 AT 的情感极性。一个重要的问题是,右侧 MRC 的数量等于 AT 的数量,因此,左侧 MRC 重复该次数。
推理过程
文章出处登录后可见!