C02. 感知机

• 模型
  • 感知机，是根据输入实例的特征向量对其进行二类分类的线性分类模型，属于判别模型；
  • 模型参数包括 : 权值或权值向量，偏置。
  • 模型对应于输入空间 ( 特征空间 ) 中的分离超平面；
• 策略
  • 假设 : 感知机学习的训练数据集是线性可分的；
  • 目标 : 求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面；
  • 策略 : 即定义 ( 经验 ) 损失函数，并将损失函数极小化；
    • 损失函数定义为 : 误分类点的总数，不易优化；
    • 损失函数定义为 : 误分类到分离超平面的总距离；
• 算法
  • 感知机学习算法是基于误差 - 修正的学习思想，是由误分类驱动的；
  • 学习算法的优化方法
    • 批量学习可以基于进行优化
      • 一阶 : 最速下降法或梯度下降法；
      • 二阶 : 牛顿法、共轭梯度法等等
    • 在线学习 : 基于随机梯度下降法的对损失函数进行最优化 [^Goodfellow,2017] P95, P180
      • 原始形式 : 算法简单且易于实现。先任意选取一个超平面，然后随机选择一个误分类点使其用梯度下降法极小化目标函数
        • 例 2.1 ( 比较简单，可以了解 )
        • 定理 2.1 ( 过于简略，建议跳过 )
      • 对偶形式 ( 没看出与原始形式有何区别，也没从别的书上看到过这种说明方式，建议跳过 )
  • 当训练数据集线性可分时，感知机学习算法是收敛的，且有无穷多个解。
• 学习总结
  • 感知机是神经网络的基础，本章只有单个神经元模型，深入学习参考 [^Haykin,2011]
  • 神经网络是深度学习的基础，深度学习参考 [^Goodfellow,2017]
  • 距离度量是几何的概念，理论可参考 [^Duda,2003] P154
  • 学习算法的优化是最优化理论，基本优化方法可参考 [^Hyvarinen,2007] P42