Ch02

C02. 感知机 模型 感知机，是根据输入实例的特征向量对其进行二类分类的线性分类模型，属于判别模型； 模型参数包括 : 权值或权值向量，偏置。 模型对应于输入空间 ( 特征空间 ) 中的分离超平面； 策略 假设 : 感知机学习的训练数据集是线性可分的； 目标 : 求得一个能够将训练集正实例点和 ...
2020-10-12

Ch01

C01. 统计学习方法概论 这一章都是概念和结论，如果读者能够透过概念就明白里面实际操作的内容，那就可以快速浏览此书，否则准备纸和笔认真精读方能收获。 后面的各章内容相对独立，读者既可以连续学习，也可以仅选择自己感兴趣的内容。 统计学习统计学习导言 统计学习 (statistical learni ...
2020-10-12

GloVe算法原理及简单使用

GloVe算法原理及简单使用 于晨晨 联想（北京）有限公司 自然语言处理高级研究员 关注他 31 人赞同了该文章 在2013年Tomas Mikolov等人提出word2vec之后，2014年，Jeffrey Pennington, Richard Socher, Christopher D. M ...
2020-10-12

ELMO原理解析及简单上手应用

ELMo原理解析及简单上手使用 于晨晨 联想（北京）有限公司 自然语言处理高级研究员 关注他 194 人赞同了该文章 2018年3月份，ELMo[1][2]出世，该paper是NAACL18 Best Paper。在之前2013年的word2vec及2014年的GloVe的工作中，每个词对应一个v ...
2020-10-12

一文读懂BERT(原理篇)

一文读懂BERT(原理篇) sunhua93 2019-10-27 11:02:30 45333 收藏 220 分类专栏： 机器学习、NLP 版权 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csd ...
2020-10-12

Transformer

Preface三种序列转换模型的对比 CNN 模型 优点：可以并行计算，计算效率高 缺点：感受野小，受卷积核窗口大小的影响，不能同时考虑整个上下文 RNN 模型 优点：可以考虑数据的时序特征，序列的位置信息自然获得 缺点：受顺序计算的影响，无法并行计算 Transformer 模型 优点： ...
2020-10-12

BERT原理及实现

BERT原理及实现1. 输入序列与嵌入表示 可以编码一个单句或者一串单句 Input：线性序列，两个句子通过分隔符分割，最前面和每个句子后面增加标识符号 CLS表示序列开始符号，SEP表示单句分隔符号 每个单词有三个Embedding Token Embedding：表示词向量，每个词被表 ...
2020-10-12

BERT-Introduction-Train

BERT介绍与训练 主流模型介绍如何简单地、自动地、智能地从原始信息中提取出有用信息是人工智能任务的核心。 自编码模型与自回归模型的区别自回归模型：根据上文预测下一个可能的单词，即自左向右的语言模型；也可以根据下文预测前面的单词，即自右向左的语言模型 例子：ELMO、GPT、XLNET 优点：容易 ...
2020-10-12

Ch06

...
2020-10-12

reference

[^Kohonen,1988]: Kohonen, T. ( 1998 ) .”An introduction to neural computing.”Neural Networks, 1 ( 1 ) :3-16 ...
2020-10-12
1…1718192021…33