BertEmbeddings

modeling_bert主要包含内容：

1.如何实现Bert

BERT Tokenization 分词模型（BertTokenizer）

BERT Model 本体模型（BertModel）

BertEmbeddings

class BertEmbeding(nn.Module)

BertEncoder

BertLayer

BertAttention

BertSelfAttention

BertSelfOutput

BertIntermediate

BertOutput

BertPooler

“`python

class BertSelfAttention(nn.Module):

class BertSelfAttention(nn.Module):

class BertAttention(nn.Module):

class BertIntermediate(nn.Module):

class BertOutput(nn.Module):

class BertLayer(nn.Module):

class BertEncoder(nn.Module):

class BertPooler(nn.Module):

“`

2.如何应用Bert

BERT-based Models应用模型

BERT训练和优化

Bert解决NLP任务

0.BertForPreTraining

BertEncoder

BertLayer

BertAttention

BertSelfAttention

BertSelfOutput

BertIntermediate

BertOutput

BertPooler

BertOnlyMLMHead

BertForMaskedLM

BertLMHeadModel

BertOnlyNSPHead

BertForNextSentencePrediction

    class BertForPreTraining(BertPreTrainedModel):    MLM和NSP两个任务

    class BertPreTrainingHeads(nn.Module):    两个任务的预测模块

    class BertLMPredictionHead(nn.Module):    用于预测[MASK]位置的输出在每个词作为类别的分类输出

    class BertPredictionHeadTransform(nn.Module):    完成一些线性变换

    BertForMaskedLM：只进行 MLM 任务的预训练

            基于BertOnlyMLMHead，而后者也是对BertLMPredictionHead的另一层封装

    class BertLMHeadModel(BertPreTrainedModel):这个和上一个的区别在于，这一模型是作为 decoder 运行的版本

            同样基于BertOnlyMLMHead

    class BertForNextSentencePrediction(BertPreTrainedModel):只进行 NSP 任务的预训练。

            基于BertOnlyNSPHead，内容就是一个线性层

1. BertForSequenceClassification

2. BertForMultiChoice

3. BertForTokenClassification

4. BertForQuestionAnswering

BERT训练与优化

Pre-Training

Fine-Tuning

AdamW

Warmup