ML05 Logistic Regression

logistic Regression

什么是Logisitic Regression

1. $\sum_iw_ix_i+b$

   将每一个feature乘以一个weight，加上偏置，再通过一个Sigmoid function.

   Sigmoid function将其映射到(0,1)之间。

2. ML04所讲的generative model 和logistic regression有什么联系呢？

   上节课所要得的后验概率：

   $P(C_1|x)=\frac{p(x|C_1)P(C_1)}{p(x|C_1)P(C_1)+p(x|C_2)P(C_2)}$

   对于这种贝叶斯所得的后验概率，将分子和分母同时除以$P(x|C_1)P(C_1)$即可得，

   $P(C_1|x)=\frac{1}{1+\frac{P(x|C_1)P(C_1)}{P(x|C_2)P(C_2)}}$

   这里，令$z=ln(\frac{P(x|C_1)P(C_1)}{P(x|C_2)P(C_2)})$

   这个时候，$\sigma(z)=\frac{1}{1+exp(-z)}$

   是一个Sigmoid function.

   这里，将我们之前所得的先验概率带入，$P(x|C_1)$,$P(x|C_2)$

   就可以发现$z=w^Tx+b$

   linear v.s.Logistic

Linear:$f_{w,b}=\sum_iw_ix_i+b$

赏

谢谢你请我吃糖果❤️

支付宝