Ch12

C09. EM 算法及推广 学习基础 概率论 : 期望 最大似然估计或极大后验估计 梯度下降 EM 算法是对含有隐变量的概率模型进行极大似然估计或者极大后验估计的迭代算法。 E 步，求期望；利用数据和假设的初值，求得一个隐变量的条件概率分布的期望，即 “Q 函数”。 ( 因为无法求得条件概率分布 ...
2020-10-12

Ch11

C09. EM 算法及推广 学习基础 概率论 : 期望 最大似然估计或极大后验估计 梯度下降 EM 算法是对含有隐变量的概率模型进行极大似然估计或者极大后验估计的迭代算法。 E 步，求期望；利用数据和假设的初值，求得一个隐变量的条件概率分布的期望，即 “Q 函数”。 ( 因为无法求得条件概率分布 ...
2020-10-12

Ch10

C09. EM 算法及推广 学习基础 概率论 : 期望 最大似然估计或极大后验估计 梯度下降 EM 算法是对含有隐变量的概率模型进行极大似然估计或者极大后验估计的迭代算法。 E 步，求期望；利用数据和假设的初值，求得一个隐变量的条件概率分布的期望，即 “Q 函数”。 ( 因为无法求得条件概率分布 ...
2020-10-12

Ch09

C09. EM 算法及推广 学习基础 概率论 : 期望 最大似然估计或极大后验估计 梯度下降 EM 算法是对含有隐变量的概率模型进行极大似然估计或者极大后验估计的迭代算法。 E 步，求期望；利用数据和假设的初值，求得一个隐变量的条件概率分布的期望，即 “Q 函数”。 ( 因为无法求得条件概率分布 ...
2020-10-12

Ch08

C08. 提升方法 ( 集成学习 )提升方法 ( Boosting ) 是一种统计学习方法，也是一种提升模型学习能力和泛化能力的方法，还是一种组合学习 ( 集成学习 ) 的方法，是统计学习中最有效的方法之一。 学习提纲 AdaBoost 算法是什么？ AdaBoost 算法为什么？ AdaBoos ...
2020-10-12

Ch07

C07. 支持向量机 支持向量机 ( Support Vector Machine， SVM ) 是一种二类分类模型。 基本模型是定义在特征空间上的间隔最大的线性分类器 基本概念 支持向量决定了最优分享超平面 最终判别时，只需要很少的“重要”训练样本，大幅减少计算量。 间隔 ( 看懂数学公式就可 ...
2020-10-12

Ch06

C06. Logistic 回归与最大熵模型Logistic 回归是分类模型，最大熵是其学习准则。(强烈建议先看 [^Bishop,2006]Ch 04了解原理，再通过此书看推导) 6.1 Logistic 模型6.1.1 Logistic 分布Logistic 概率分布函数是 Sigmoid 函数 ...
2020-10-12

Ch05

C05. 决策树 (decision tree) 决策树模型 决策树是一种基本方法，用于分类与回归。 本章主要讨论的是分类决策树。 分类决策树模型 定义 : 是基于特征对实例进行分类的树形结构。 模型的组成结构 结点 (node) 内部结点 (internal node) 叶结点 (leaf n ...
2020-10-12

Ch04

C04. 朴素 Bayes 法朴素 (naive) Bayes 法 : 是基于 Bayes 定理与所有特征都遵循条件独立性假设的分类方法。 朴素 Bayes 法是 Bayes 分类法的一种，遵循 Bayes 定理建模。[^Mitchell,2003] Ch06 基于给定的训练数据集 基于特征条件独 ...
2020-10-12

Ch03

C03. k 近邻法 k 近邻法 (k-nearest neighbor, k-NN) 是一个基本且简单的方法，用于分类与回归。 输入为实例的特征向量，对应于特征空间的点； 输出为实例的类别，可以取多个类。 基本思想 假设给定一个训练数据集，其中的实例类别已经确定； 对新输入的实例分类时，根据 ...
2020-10-12
1…1617181920…33