What is the difference between Regression and classification;
- 在分类中，用数字表示label只是一种encode的方式，而在regression中，数值是有作用的。
- 而回归是一种 model ，它刻画标签y和feature x之间的一种relation
Aim of regression
learn a rule $f,h$ that $R^d->R$, a rule that can predict real values.
最直观的解释，分类的数值性是不能被比较的。
实现方法
最小二乘回归：
Least-squares regression:square loss ERM formulation.
$$
min_{h\in H}\frac{1}{n}\sum_{i=1}^n(h(x^{(i)}-y^{(i)}))^2
$$
注意区分线性最小二乘回归和最小二乘回归
注意线性最小二乘和最小二乘回归的区别，在线性最小二乘回归中，
h(x)=$w_0+w^Tx$,而在最小二乘回归中，这里H是a set of function that is either linear or nonlinear of x.
more >>
