自然语言处理
-
MAE:Masked Autoencoders Are Scalable Vision Learners(带掩码的自编码器是可扩展的学习器)论文阅读
Masked Autoencoders Are Scalable Vision Learners 论文地址:Masked Autoencoders Are Scalable Vis…
-
NLP扎实基础5:TextCNN模型与Pytorch复现
TextCNN模型通过CNN卷积的思想对文本数据做处理,整个处理流程如下图所示: 卷积层: 卷积层是通过一个卷积核,滑过整个平面,然后得到卷积后的特征图。 卷积层的目的是提取局部特…
-
斯坦福NLP课程 | 第17讲 – 多任务学习(以问答系统为例)
作者:韩信子@ShowMeAI,路遥@ShowMeAI,奇异果@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/36 本文地址:h…
-
深度学习系列26:transformer机制
1. 多头注意力机制 首先补充一下注意力和自注意力区别:自注意力有3个矩阵KQV;而注意力只有KV,可以理解为最终结果被用来当做Q了。 多头注意力机制在自注意力机制上又加了一层多头…
-
深度学习系列25:注意力机制
1. 从embedding到Encoder-Decoder 1.1 Embedding 首先需要用到embedding,把K维的0-1特征向量用k维的浮点数特征向量表示。直观代码如…
-
深入浅出Embedding
内容来自《深入浅出Embedding》 吴茂贵,王红星 第一部分 1.万物皆可Embedding Word Embedding向Item Embedding,Graph Embed…
-
paper阅读笔记(Transformer):Attention Is All You Need
摘要和结论 本篇论文中,作者提出了大名鼎鼎的 transformer 模型。 在过去的工作中,nlp领域的主流模型是基于各种RNN的encoder-decoder模型。 RNN他是…
-
自然语言处理4——统计语言模型
自然语言处理4——统计语言模型 概述 理论基础:信源–信道模型,即已知输出,求解最有可能的输入。 数学描述: 信源模型:以概率生成输入信号 信道模型:信道以概率分布将输入信号转换成…
-
关于Attention的超详细讲解
一、动物的视觉注意力 动物需要在复杂环境下有效关注值得注意的点。 心理学框架:人类根据随意线索(主观)和不随意(客观)线索选择注意点。 比如如下例子,第一眼我们会看到红色的杯子,它…
-
论文阅读:Rethinking Self-Attention: Towards Interpretability in Neural Parsing
摘要: 注意机制允许模型保持可解释性,提升了NLP任务的表现。自我注意是目前广泛使用的一种注意类型,但由于存在大量的注意分布,其可解释性较差。最近的研究表明,模型表示可以受益于特定…