Pytorch & BERT – 预测多个二元特征
pytorch 217
原文标题 ：Pytorch & BERT – Predict Multiple Binary Feature
我想手动向 BERT 添加一个输出层，以预测多个二进制特征。
例如，这些输出将回答以下问题：
- 文字是正面的吗？如果是，则为 1，否则为 0。
- 这篇文章是关于运动的吗？ 1如果是，0如果不是。
- 这篇文章是关于商业的吗？ 1如果是，0如果不是。
我的第一个想法是将其作为回归任务来完成，添加一个带有 3 个神经元的输出层：每个问题一个。
伪代码：
def __init__(self):
self.bert = CamembertModel.from_pretrained('camembert-base')
self.regressor = nn.Sequential(nn.Linear(dim_in, 3))
def forward(self, input):
outputs = self.bert(input) # "Bert Layers"
outputs = self.regressor(outputs) # LinearSequential with output of 3
return outputs
但我会得到高于 1 和低于 0 的值。那么，我可以添加哪种层以获得概率（0 到 1 之间的值）来处理这个问题？
我希望我的问题很清楚，谢谢你的帮助。
def __init__(self):
self.bert = CamembertModel.from_pretrained('camembert-base')
self.regressor = nn.Sequential(nn.Linear(dim_in, 3))
def forward(self, input):
outputs = self.bert(input) # "Bert Layers"
outputs = self.regressor(outputs) # LinearSequential with output of 3
return outputs
