MIT+ML05 Regression

阅读数: 4次 2020-08-11

What is the difference between Regression and classification;

在分类中，用数字表示label只是一种encode的方式，而在regression中，数值是有作用的。
而回归是一种 model ，它刻画标签y和feature x之间的一种relation

Aim of regression

learn a rule $f,h$ that $R^d->R$ , a rule that can predict real values.

最直观的解释，分类的数值性是不能被比较的。

实现方法

最小二乘回归：

Least-squares regression:square loss ERM formulation.

$min_{h\in H}\frac{1}{n}\sum_{i=1}^n(h(x^{(i)}-y^{(i)}))^2$
注意区分线性最小二乘回归和最小二乘回归

注意线性最小二乘和最小二乘回归的区别，在线性最小二乘回归中，

h(x)= $w_0+w^Tx$ ,而在最小二乘回归中，这里H是a set of function that is either linear or nonlinear of x.

Logistic Regression and Regression

注意，不同的loss function对于模型的训练效果有较大的影响。

对比线性回归模型与逻辑回归模型。

Pearson相关系数

correlation coefficient r~0.5:

注意区分相关系数和协方差：

协方差：

Cov(x,y)= $E[XY]-E[X][Y]=E[(X-E[X])(Y-E[Y])]$

Pearson correlation coefficient:

$r=\frac{1}{N}\sum_{i=1}^N(\frac{x_i-x^-}{\sigma_x})(\frac{y_i-y^-}{\sigma_y})=\frac{cov(x,y)}{\sigma_x\sigma_y}$

注意，在相关系数的公式中，如形式 $\frac{x_i-x^-}{\sigma_x}$

z-transform或standard normalization目的是get rid of scaling & shifting.

注意：如何理解皮尔逊相关系数？

Q：Why scale by std deviation?
r~0.5的意义是神恶魔
correlation与clump around the line的关系 ,clusterness.
Is r(x,y) a kernel function?

Modeling a linear relationship:线性回归模型

说白了，线性回归就是对两个变量之间的线性关系进行建模。

训练目标：

$Min Loss(w_0,w)=\frac{1}{N}\sum_{i=1}^N(y^{(i)}-w_0-x^{(i)})^2$ ,注意这里N是常数，是可drop的。

即least square是训练目标，predict label value到true label value之间的距离最短，也是误差最小，即也是训练目标。

如何找到合适的参数达到我们想要的训练目标呢？

$\nabla Loss=0$ 是寻找到参数的必要条件。(necessary)

所以我们就去解上面那个式子的方程：

注意变量相关和相关变量

在理解时，要注意去观察data之间是否有真正的联系，也即去注意correlation和causation之间的关系。

What does the data really mean is very important

求解线性最小二乘

上面，我们仅仅将数据点看成point的形式，如果将数据看成vector,即 $x\in R^d,y\in R$ ,一共有N个数据点，我们将这N个d维向量，排列成数据矩阵 $X_{N\times d}=\begin{pmatrix}x^{(1)}\x^{(2)}\…\x^{(N)}\end{pmatrix}$ ,所以相应的，这些数据点对应的label也是一个matrix,是 $N\times 1$ 形式的。

为了使表达简单，我们去推导： $w_0=0$ 的情况。

$min Loss(w)=\sum_i(y^{ (i)}-w^Tx^{(i)})=｜｜y-Xw｜|^2=(y-Xw)^T(y-Xw)=y^Ty+2w^TX^TXw-2w^TX^Ty$

然后呢，要求这个矩阵梯度，求矩阵和向量微分呢，我不太会，得到的结果就是 $\nabla L(w)=2X^TXw-2X^Ty$

这个梯度等于0呢，我们就把w这个参数给求出来了!

$w=(X^TX)^{-1}X^Ty,X\in R^{N\times d},y\in R^N,w\in R^d$
那么问题来了！矩阵不可逆怎办呢？Maybe regularization 或伪逆相关。

非线性最小二乘

with nonlinear features: $y=w^T\phi(x)+w_0=E[Y=y|X=x]$

要求： $min_w L(w)=\sum_i(y_i-w^T\phi(x_i))^2$

这个地方，说实话，有点没太听懂。

Kernelized “ridge” regression

首先引入penalized cost function

$min_w L(w)=\frac{1}{N}\sum_i(y_i-w^T\phi(x_i))^2+\lambda||w||^2$

要求这个loss Function的对于parameter $w$ 的偏导数：

即 $\lambda w-\frac{1}{N}\sum_i(y_i-w^T\phi(x_i))\phi(x_i)=0$

其中这个 $(y_i-w^T\phi(x_i))$ 不太好求。

我们将 $w$ 写成线性组合的形式？

令 $(y_i-w^T\phi(x_i))=N\lambda\alpha_i$

解之，得： $w=\sum_i\alpha_i\phi(x^i)$

所以：

此时这个feature到底怎么成功绕到用核函数表示，这个k怎么求呢?

而在这里key point也有存在于 $\alpha$ 怎么求呢？

但是在MINIST手写识别中，为啥训练结果最好的时候是在 $\lambda=0$ 得时候呢？