machine learning 笔记(2)

机器学习 Machine Learning 笔记（2）

一、多特征的线性回归（多元线性回归）

针对房价场景，则假设算法为

$$h_\theta(x) = \theta_0x_0 + \theta_1x_1 + \theta_2x_2 + \theta_3x_3 + .... + \theta_nx_n$$

假设有n个特征，x0 = 1，则训练数据X跟特征A可以用矩阵表示为

$$X = \begin{bmatrix} x_0 \\ x_1 \\ x_2 \\ x_3 \\ ... \\ x_n \end{bmatrix}, A = \begin{bmatrix} \theta_0 \\ \theta_1 \\ \theta_2 \\ \theta_3 \\ ... \\ \theta_n \end{bmatrix}$$

则对应的算法为矩阵A的转置 乘以 向量 X

$$h_\theta(x) = A^T*X$$

1.1 代价函数

$$J(\theta_0, \theta_1, ...., \theta_n) = \frac{1}{2m} \sum^{m}_{i = 0}{[h_\theta(x^{(i)}) - y^{(i)}]}^2$$

1.2 梯度下降

对应的梯度下降在x0 = 1 的前提下，统一为：

$$\theta_j := \theta_j - \alpha\frac{1}{m} \sum^{m}_{i = 0}{[h_\theta(x^{(i)}) - y^{(i)}]} . x_j^{(i)}$$

为了更好的梯度下降，可进行如下调整：

1.2.1 特征缩放

让各特征值的取值范围尽量接近，可以进行如下操作对特征值进行缩放

$$x_j^{(i)} \Leftarrow \frac{x_j - u_j}{s_j},u_j 为x_j的平均值，s_j = max_j - min_j$$

1.2.2 学习率选择

学习率太小的话，会下降的很慢；

学习率太大的话，会导致无法收敛；

1.3 多项式回归

当假设算法跟训练数据不吻合时，我们的假设函数不一定是线性的，可以变成多项式，如：

$$h_\theta(x^{i}) = \theta_0 + \theta_1x_i + \theta_2x_i^2 + \theta_3x_i^3$$

二、正规方程

对于一些线性回归问题，正规方程可以更好的解决theta值，不要一步步迭代得到最佳theta值，也不需要特征缩放，可以直接获取到，即：

$$\theta = (X^TX)^{-1}X^TY$$

推理过程，X 为样本矩阵，Y为结果矩阵

假设

$$X\theta = Y \\ X^TX\theta = X^TY \\ (X^TX)^{-1}X^TX\theta = (X^TX)^{-1}X^TY \\ \theta = (X^TX)^{-1}X^TY$$

矩阵 * 矩阵的逆 = 身份矩阵（单位矩阵）

身份举证 * 矩阵 = 矩阵本身

当数据特征不是很大的情况下，正规方程有不错的效果，反之梯度下降更合适。