LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking

基本信息

• 论文链接：arxiv
• 发表时间：2022
• 应用场景：文档信息抽取

摘要

模型结构

Embedding

Text Embedding

采取预训练好的RoBERTa生成每个token的 text embedding。

Layout Embedding

和v1、v2不同的是，这里采用了segment level layout emebdding，即每个token都共用了ocr检测框的坐标，进而生成相应的embedding vector，这么做的原因是每个ocr框中的单词通常都代表相同的语义信息。

Image Embedding

不同于先前的文档理解多模态模型，大都需要一个CNN或者Faster-RCNN抽取图片上的视觉信息。

从VIT收到启发，直接采用VIT的预处理策略：图片resize->分patch->线性映射，组成shape=的tensor，再加上其1d position embedding，就构成了视觉特征。

这样做降低了模型参数量、移除了相对较复杂的预处理流程。

作者通过先前实验发现这里用1d position embedding就够了，因为2d position embedding并没有收益。

Self-attention

沿用layoutLMv2的spatial aware self attention。

Pre-training Objectives

Masked Language Modeling(MLM)

每次mask掉30%的token。

不再是随机、孤立的mask掉某个token，而是一次性mask一定长度的tokens。长度从泊松分布（λ=3）中抽样确定。从视觉上下文token（）以及文本上下文token（）来预测这些被mask掉的token。注意视觉信息要同时被mask掉。

Masked Image Modeling(MIM)

随机mask掉约40%的image toke，mask策略采用blockwise masking strategy。（具体参照Beit）。

被mask掉的patch通过image tokenizer转化为离散的数字（image tokenizer来源于预训练DiT），进而对这些masked patch进行预测即可。

Word-Patch Alignment(WPA)

前俩预训练任务没有显式的做visual和text之间的模态对齐。

对于前两个任务所产生的输入，这里会对每个text token赋予<aligned>以及<unaligned>标签。

对于那些text token没被MLM掉，但是被MIM掉（每个text token会有其位置信息的）的，赋予<unaligned>标签。对于那些没被MLM掉，也没被MIN掉的，赋予<aligned>标签。

对于以上被标记了的token，通过两层FC进行预测是aligned还是unaligned，所以是一个二分类。

这里要忽略掉那些被MLM掉的text token，即它们不参与loss计算，这么做事为了防止模型从masked text以及image patch之间学到一些没什么用的关系。

实验

• Base和Large模型均在多数数据集上取得SOTA。

  

• 文档版面分析任务上，仅用视觉模态作为输入抽取图像特征后输入给Cascade R-CNN的Neck，取得SOTA效果。

  

• 消融实验，三个预训练任务全上效果是最好的。

  

总结

1. LayoutLMv3对LayoutLM系列模型的预训练方法进行了重新设计，不再有视觉模型，转而采用VIT代替，减少了模型参数。采用MLM、MIM以及MPA三项预训练任务来学习多模态特征表示，在image-centric以及text-centric任务上取得多个SOTA。
2. RoBerta、Beit的后续学习。