深度学习（花书）第八章

C08. 深度模型中的优化Ch04介绍一般的数值优化问题 Ch08关注特定的数值优化问题：寻找神经网络上的一组参数 $\theta$，用于显著降低代价函数 $J(\theta)$，这个代价函数通常包括整个训练集上的性能评估和额外的正则化项。 8.1 不同数值优化问题的区别 机器学习的数值优化问题是间 ...
2021-11-18 深度学习

深度学习（花书）第九章

C09. 卷积网络卷积网络，也叫作卷积神经网络，是一种专门用来处理具有类似网络结构的数据的神经网络。 时间序列数据：在时间轴上有规律地采样形成的一维网格 图像数据：二维的像素网格 9.1 卷积运算卷积：一种特殊的线性运算，是对两个实变函数的一种数学运算。 $$s ( t ) = ( x ...
2021-11-18 深度学习

深度学习（花书）第十章

C10. 序列建模：循环和递归网络循环神经网络 ( Recurrent Neural Networks, RNN ) 是用于处理序列数据的神经网络，序列数据的长度既可以是固定的，也可以是变长的。 在模型的不同部分共享参数，参数共享使得模型能够扩展到不同形式的样本并进行泛化： 卷积操作允许网络跨时间 ...
2021-11-18 深度学习

深度学习（花书）第十四章

C14. AutoEncoders自编码器(autoencoder)是一种深度神经网络，能够经过训练后将输入复制到输出。 自编码器的内部有一个隐藏层 $\pmb{h}$，可以产生编码用于表示输入。 自编码器的网络组成(图 14.1) 函数 $\pmb{h}=f(\pmb{x})$ 表示编 ...
2021-11-18 深度学习

深度学习（花书）第十五章

C15.Representation Learning本章的目标 表示学习(Representation Learning)的含义 表示学习如何支持深度学习框架的设计，一个好的表示可以使后续的学习任务更加容易 共享统计信息：无监督学习为监督学习提供信息 监督学习训练的前馈网络也可以视为表示学习的一 ...
2021-11-18 深度学习

深度学习（花书）第八章

Reference[^Erhan,2010]: Erhan, D., Bengio, Y., Courville, A., Manzagol, P., Vincent, P., and Bengio, S. (2010). Why does unsupervised pre-training hel ...
2021-11-18 深度学习

Tensorflow-and-Keras使用心得

GPU ConfigurationMemory Growth显存设置使用默认状况最好按需要分配显存，显存可以节约，但是内存占用会变大 使用 os 来实现 123import osos.environ["TF_FORCE_GPU_ALLOW_GROWTH"] = " ...
2020-06-13 编程

《基于深度学习的自然语言处理》学习笔记

C01. 引言1.1 自然语言处理的挑战自然语言处理 ( Natural Language Processing, NLP ) 是一个设计输入和输出为非结构化自然语言数据的方法和算法的研究领域。 有监督学习：从事先标注好的输入/输出集合中推导出使用的模式和规则。 面临的困难：离散性、组合 ...
2019-06-06 自然语言处理

《基于深度学习的自然语言处理》学习笔记

C02. 学习基础与线性模型2.1 有监督学习和参数化函数有监督机器学习：通过观测样例进而产生泛化的机制。 设计算法，算法的输入是一组有标注的样例，输出是一个接收实例、产生期望标签的函数。对于在训练时没有见过的样例，最终函数也可以产生预测标签 搜索所有可能的函数是困难的，于是把函数限制在特定的函数 ...
2019-06-06 自然语言处理

《基于深度学习的自然语言处理》学习笔记

C04. 前馈神经网络4.8 嵌入层 当神经网络的输入包含符号分类特征时，通常将每个可能的特征值(即词汇中的每个单词)与一个 $d$ 维向量相关联。这些向量被当作模型的参数与其他参数共同训练，而特征值与 $d$ 维向量的映射是通过嵌入层实现的。嵌入层的参数是一个矩阵 $\text{E}\in\mat ...
2019-06-06 自然语言处理
12