目录
一、概要
谷歌公司的研究人员提出的 T5（Text-to-Text Transfer Transformer，有5个T开头的单词，所以叫做T5）模型采用了一种与前述模型截然不同的策略：将不同形式的任务统一转化为条件式生成任务。这样一来，只需要一个统一的“文本到文本”生成模型，就可以使用同样的训练方法与解码过程完成不同的自然语言处理任务，而无须针对不同任务设计不同的模型结构与训练方法。与此同时，这种“大一统”模型还能够极大地降低不同任务之间迁移学习与多任务学习的难度。
二、深入扩展
2.1 两个要素
使用同一套模型参数完成多项不同的条件式生成任务有两个很关键的要素。首先，需要给模型注入任务信息，使其能够按照特定任务生成目标文本。为模型注入任务信息是迁移学习中常用的技术，尤其是多任务学习以及元学习（Meta-learning）。任务信息的表示也有很多种方法，比如向量表示、自然语言描述和少量代表性样本等。T5模型使用的是自然语言描述或简短提示（Prompt）作为输入文本的前缀表示目标任务。例如，对于由英语到德语的机器翻译，可以在输入文本的头部加 上“translate English to German： ”的前缀；对于文本摘要任务， 则在输入文本前加上“summarize： ” ；除此之外，对于语言理解类任务，如情感分类，可以加上“ sentiment： ” ，并输出单词“ positive ”或者“ negative ”。下表列举了不同任务下的输入输出定义方式。
由于不同的任务已经被统一成文本生成的形式，所以T5模型可以使用任意序列到序列的生成模型结构。例如，BART模型使用的编码器–解码器结构、单向语言模型和UniLM中的序列到序列模型。实验表明，编码器–解码器结构表现相对更好。
2.2 预训练方法
（1）自监督预训练。通过对预训练任务的细致搜索，最终T5模型采用了类似于BART模型的文本填充任务进行预训练，如下表所示。与 BART模型稍有不同，这里对不同位置的文本片段使用不同的掩码标记；同时，在目标端不对原始句子进行完全重构，而是重构丢弃的文本片段，并通过掩码标记指示恢复片段的位置信息。
附录：
作者的其他文章：UniLM模型简单介绍_云隐雾匿的博客-CSDN博客BART模型简单介绍_云隐雾匿的博客-CSDN博客多层感知器介绍_云隐雾匿的博客-CSDN博客自训练和协同训练简述_云隐雾匿的博客-CSDN博客文章出处登录后可见！
已经登录？立即刷新
