《自然语言处理》学习笔记

自然语言处理 ( 英语 : Natural Language Processing，缩写作 NLP ) 是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。 自然语言认知和理解是让计算机把输入的语言变成有意思的符号和关系，然 ...
2019-06-06 理论

《中文自然语言处理导论》学习笔记

C01. Introduction1.1 中文自然语言处理是什么一门语言就是一个动态集合，其中包括符号及其对应的视觉、听觉、触觉或者文字交流的规则。 人类的语言被称为自然语言，其科学研究属于语言学范畴，其计算方式的实现属于计算语言学领域。 计算语言学侧重于人类语言的理论方面 自然语言处理则是语言理 ...
2019-06-06 自然语言处理

《中文自然语言处理导论》学习笔记

C02. 中文的词本章主要关注中文文本的形态处理，包括与之相关的语言单元的素和词。 2.1 引言基本问题 中文里的词是怎样表示的？ 中文里的词是怎样构成的？ 中文里的词是怎样识别的？ 中文构词法多以形态合成法为主，并且辅以相对较少的词缀；同时，中文构词还采用了叠词形式 2.2 字、语素和词2.2 ...
2019-06-06 自然语言处理

《中文自然语言处理导论》学习笔记

Introduction to Chinese Natural Language Processing《中文自然语言处理导论》学习笔记 ...
2019-06-06 自然语言处理

《基于深度学习的自然语言处理》学习笔记

C01. 引言1.1 自然语言处理的挑战自然语言处理 ( Natural Language Processing, NLP ) 是一个设计输入和输出为非结构化自然语言数据的方法和算法的研究领域。 有监督学习：从事先标注好的输入/输出集合中推导出使用的模式和规则。 面临的困难：离散性、组合 ...
2019-06-06 自然语言处理

《基于深度学习的自然语言处理》学习笔记

C02. 学习基础与线性模型2.1 有监督学习和参数化函数有监督机器学习：通过观测样例进而产生泛化的机制。 设计算法，算法的输入是一组有标注的样例，输出是一个接收实例、产生期望标签的函数。对于在训练时没有见过的样例，最终函数也可以产生预测标签 搜索所有可能的函数是困难的，于是把函数限制在特定的函数 ...
2019-06-06 自然语言处理

《基于深度学习的自然语言处理》学习笔记

C04. 前馈神经网络4.8 嵌入层 当神经网络的输入包含符号分类特征时，通常将每个可能的特征值(即词汇中的每个单词)与一个 $d$ 维向量相关联。这些向量被当作模型的参数与其他参数共同训练，而特征值与 $d$ 维向量的映射是通过嵌入层实现的。嵌入层的参数是一个矩阵 $\text{E}\in\mat ...
2019-06-06 自然语言处理

《基于深度学习的自然语言处理》学习笔记

C08. 从文本特征到输入8.1 编码分类特征8.1.1 独热编码文章的 One-Hot 编码：每一维对应一个单独特征，因此结果特征向量为高维指示向量 的组合。 8.1.2 稠密编码 ( 特征嵌入 )稠密编码：每个核心特征都被嵌入到 $d$ 维空间中，并且使用空间中的一个向量表示一个特征。例如：10 ...
2019-06-06 自然语言处理

《基于深度学习的自然语言处理》学习笔记

C13. N 元语法探测器：卷积神经网络为了探索基于元素的有序集合，常常使用二元词组 ( Bi-Gram ) 词嵌入或者三元词组 ( Tri-Gram ) 词嵌入，由于这样处理的词嵌入词典过大，无法用于较长的 N 元语法模型，还会遇到数据稀疏性问题 ( 因为不同 N 元语法间的统计特性没有共享，例如 ...
2019-06-06 自然语言处理

《基于深度学习的自然语言处理》学习笔记

Neural Network Methods in Natural Language Processing《基于深度学习的自然语言处理》学习笔记 参考资料 douban ...
2019-06-06 自然语言处理
1…2324252627…33