C04. 前馈神经网络
4.8 嵌入层
当神经网络的输入包含符号分类特征时，通常将每个可能的特征值(即词汇中的每个单词)与一个 $d$ 维向量相关联。这些向量被当作模型的参数与其他参数共同训练，而特征值与 $d$ 维向量的映射是通过嵌入层实现的。嵌入层的参数是一个矩阵 $\text{E}\in\mathbb{R}^{|词典|\times d}$，$\text{E}$ 中一行数据对应于词典中的一个词，各行数据对应的词各不相同。在进行下一层前，词向量通常会彼此连接。Ch08 和 Ch10
©-
ZhuYuanxiang
|
pv
|
uv
Theme Tree
by Wu Jun
Powered by Hexo