线性分类问题

广义线性模型

对数几率回归

对数几率函数

对数几率函数是一种“Sigmoid函数”，将$z$值转化为$(0,1]$之间的值：
$$
\begin{align}
\text{logit}(z)
&=\frac{1}{1+\exp(-z)}\
\text{logit}(\mathbf{x})
&=\frac{1}{1+\exp(-\mathbf{w}^T \mathbf{x})}\
\ln\frac{y}{1+y}
&=\mathbf{w}^T \mathbf{x}\
\ln\frac{p(y=1|\mathbf{x})}{p(y=0|\mathbf{x})}
&=\mathbf{w}^T \mathbf{x}\
p(y=1|\mathbf{x})
&=\frac{\exp(-\mathbf{w}^T \mathbf{x})}{1+\exp(-\mathbf{w}^T \mathbf{x})}\
p(y=0|\mathbf{x})
&=\frac{1}{1+\exp(-\mathbf{w}^T \mathbf{x})}
\end{align}
$$

模型参数估计

$$

$$