分类问题

学习提纲

• 模型分类
  • 判别模型
  • 概率判别式模型
  • 概率生成式模型
• 线性可分的线性分类
  • 线性判别函数
  • 感知器算法
  • 梯度下降算法
• 线性不可分的线性分类
  • Logistic 回归模型
  • Bayes 决策论
  • 线性判别分析
  • 支持向量机
• 非线性可分的非线性分类
  • 基于核的支持向量机

线性可分的线性分类

线性判别函数

模型公式

• $g ( \text{x} ) =\text{w}^T\text{x}+w_0=\dot{\text{w}}^T\dot{\text{x}}$
  • $\text{w}$ 权值向量
  • $w_0$ 阈值
    • $\dot{\text{w}}= ( \text{w}^T,w_0 )^T$ 增广权值向量
  • $\text{x}$ 输入向量
    • $\dot{\text{x}}= ( \text{x}^T,1 )^T$ 增广输入向量

感知器算法

$\dot{\text{w}}^{( t+1 )}=\dot{\text{w}}^{( t )}+\alpha y_n \dot{\text{x}}_n$

• $\text{w}$ 是参数向量
  • 参数向量与决策面垂直
• $y_n\in{-1,+1}$
• $\text{x}_n\in\mathcal{E}$
  • $\mathcal{E}$ 是分类错误的数据集
    • 注1：应该分到+1类的输入被错分，则参数向量朝向输入旋转，使输入更可能被正确分到+1类
    • 注2：应该分到-1类的输入被错分，则参数向量背离输入旋转，使输入更可能被正确分到-1类
• $\alpha$ 是迭代因子，控制更新的步长

梯度下降算法

线性不可分的线性分类

Bayes 决策论