深度学习常见优化算法总结

深度学习常见优化算法总结简单总结下常见的一阶优化算法，本文约定符号如下： 为在mini-batch数据上求得的梯度， 为模型参数， 为学习率。 SGD 最基本的方法，只用到当前时刻的梯度信息，每次都沿着当前的梯度下降方向往前走一小步。SGD有几个主要的问题： 学习率和学习率衰减方案对结果影 ...
2020-10-12

机器学习高频面试题(41道)

机器学习高频面试题 ( 41 道 )41 Essential Machine Learning InterviewQuestions Comment部分题目有参考价值，总体还是个公司教学课程的推广文案。 Questions ListQ1:Bias vs VarianceQ1: What is the ...
2020-10-12

reference

[^Aapo,2004]: Aapo Hyvarinen. 独立成分分析。电子工业出版社。2007.[^Andrew,2004]: Andrew R. Webb. 统计模式识别。电子工业出版社。2004.[^Bishop,1995]: Bishop Christopher M. Neural net ...
2020-10-12

favorites

参考文献推荐书目 PRML：模式识别与机器学习，Bishop。 通过概率的角度增强对机器学习的理解，覆盖面够宽泛，需要较多的数学知识 西瓜书：机器学习，周志华。 本科教学用书，网上参考资料丰富，覆盖面够宽泛，但是许多地方都只有简单的说明。 小蓝书：统计学习方法，李航。 初始入门，并不简单，公 ...
2020-10-12

算法工程师技能表

算法工程师技能表123456789101112graph TD; 数学高级-->创造 算法高级-->创造 设计-->业务初级 设计-->数学初级 设计-->算法高级 实现-->数学初级 实现-->编程高级 实现 ...
2020-10-12

Regression-PPT

回归问题学习提纲 根据变量个数分 一元回归 多元回归 根据函数类型分 线性模型 线性基函数模型 广义线性模型 根据学习方式分 离线学习 在线学习 线性无噪声模型一元回归：学习框架 函数模型 一个数据对 $( x,y )$ $y = ( 1,x ) ( w_0,w_1 )^T ...
2020-10-12

ML-Architecture

机器学习知识体系数学数学基础微积分导数与积分 极限 函数的求导法则 积分的收敛性 微分方程 极值 泰勒公式 求解函数的极值 级数 级数的收敛性 幂级数 与 Fourier 级数 幂级数的线性无关性与 Fourier 级数的正交性 线性代数矩阵 行列式 标量、向量、矩阵、张量 矩阵计算：基本计算 ...
2020-10-12

Outline

楔子前言——破执:::::::::::::: {.columns}::: {.column width=”35%”}一切有为法， 如梦幻泡影， 如露亦如电， 应作如是观。 –《金刚经》:::::: {.column width=”65%”} 独立于算法的机器学习[^Duda,2 ...
2020-10-12

机器学习面试问题集

机器学习面试问题集机器学习？待分类问题 为什么平方损失函数不适用于分类问题？为什么分类问题使用交叉熵误差函数？ 因为交叉熵误差函数比平方和误差函数，训练速度更快，泛化能力更强。[^Simard,2003] 什么是 sigmoid 函数，它的特点及应用？ Sigmoid 函数的形式：$\sigma ...
2020-10-12

Ensemble-Learning

机器学习–集成学习（Ensemble Learning）集成学习法在机器学习的有监督学习算法中，目标是学习出一个稳定的，并且在各个方面都表现较好的模型，但实际情况只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合得到的多个弱监督模型以期得到一个更好更全面的强监督模型。集 ...
2020-10-12
1…1920212223…33