BERT原理及实现

ZhuYuanxiang 2020-10-12 18:15:39

Categories： Tags：

1. 输入序列与嵌入表示

可以编码一个单句或者一串单句

每个单词有三个Embedding

Token Embedding：表示词向量，每个词被表示成一个768维的向量
- 使用WordPiece Tokenization可以减少Bert存储的词汇数量，并且很少遇到未登陆词
- 单词符号嵌入：$Embedding_{tok}(input)\in\mathbb{R}^{N\times d_{model}}$
  - 输入符号的个数$N$
  - 符号嵌入的维度$d_{model}$
Segment Embedding：用于区分单词所归属的句子，因为预训练不光做语言模型，还要做分类任务
- $E_A$表示单词归属A句；$E_B$表示单词归属B句
- 句子分割嵌入：$Embedding_{seg}(input)\in\mathbb{R}^{N\times d_{model}}$
- 对于单句嵌入，只使用句子A嵌入
Position Embedding：与 Transformer中的一样，用于区分句子中词的位置关系
- Bert中的最大句子长度是512，所以Position Embedding Layer的大小为(512，768)的查询表
- 单词在不同的句子中同样的位置时，位置编码应该是一样的
- 符号位置嵌入：$Embedding_{pos}(input)\in\mathbb{R}^{N\times d_{model}}$
联合表示：将三个部分的表示对应的元素相加形成一个(1,n,768)的表示

(论文没有使用传统的从左到右语言模型或者从右到左语言模型来进行预训练)

BERT的预训练基于两个无监督预测任务

遮蔽语言模型是在给定单词上下文序列后，当前单词出现的条件概率的乘积：$P(w_1^T)=\prod_{t=1}^T P(w_t|w_1^{t-1},w_{t+1}^T)$

训练数据集中随机选择15%的遮蔽单词$w_t$，并且以特殊的标记$[MASK]$进行替换。为了减少标记对微调阶段的影响，数据生成器将执行以下操作，而不是始终使用标记替换所选单词：

从语料库中生成二值化的下一句句子预测任务

当为每个预训练选择句子A和B时，数据集中50%的时间A的下一个句子是B，另50%的时间A的下一个句子从语料库中随机取得，因此不具备序列关系
- input=[CLS] the man went to [MASK] store [SEP] he bought a gallon [MASK] milk [SEP] label=lsNext
- input=[CLS] the man [MASK] to the store [SEP] penguin [MASK] are flight ##less birds [SEP] label=NotNext

是一个多层的双向的Transformer Encoder。

Transformer模型输入的是经过Embedding处理后的词向量