logistic Regression
什么是Logisitic Regression
$\sum_iw_ix_i+b$
将每一个feature乘以一个weight，加上偏置，再通过一个Sigmoid function.
Sigmoid function将其映射到(0,1)之间。
ML04所讲的generative model 和logistic regression有什么联系呢？
上节课所要得的后验概率：
$P(C_1|x)=\frac{p(x|C_1)P(C_1)}{p(x|C_1)P(C_1)+p(x|C_2)P(C_2)}$
对于这种贝叶斯所得的后验概率，将分子和分母同时除以$P(x|C_1)P(C_1)$即可得，
$P(C_1|x)=\frac{1}{1+\frac{P(x|C_1)P(C_1)}{P(x|C_2)P(C_2)}}$
这里，令$z=ln(\frac{P(x|C_1)P(C_1)}{P(x|C_2)P(C_2)})$
这个时候，$\sigma(z)=\frac{1}{1+exp(-z)}$
是一个Sigmoid function.
这里，将我们之前所得的先验概率带入，$P(x|C_1)$,$P(x|C_2)$
就可以发现$z=w^Tx+b$
linear v.s.Logistic
Linear:$f_{w,b}=\sum_iw_ix_i+b$
