一、模型描述
建立y关于x的线性函数
Hypothesis Function:$H_\theta(x)=\theta_0+\theta_1 x$
用$H_\theta(x)$来拟合y与x的关系
Parameters:$\theta_0,\theta_1$
需要估计的参数
Cost Function:$J(\theta_0,\theta_1)=\frac{1}{2m}\sum_\limits{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$
此处为平方误差代价函数。即通过令$H_\theta(x)$与y差异最小使得假设函数最接近真实值。
其中m是训练样本集的容量，$\frac{1}{2m}$表示求平均误差最小。Goal Funtion: $\min_\limits{\theta_0\theta_1}J(\theta_0,\theta_1)$
Cost Function
代价函数-3维图像
每个点到底部的距离为一次拟合的代价函数的值
代价函数-等高线图
每条等高线代表拥有相同代价函数值的参数配置
绿点为此次拟合直线的代价值，中心为最小代价值
二、梯度下降算法
用于最小化代价函数（不仅仅是最小化线性回归的代价函数）
特点：
- 只能得到局部最小值
- 相比正规方程组法（直接计算最小值），Gradient Descent更适合大数据集
此处的梯度下降算法被称为”Batch” Gradient Descent，因为每一次迭代遍历整个样本集
- 思想
- 从任意参数值$\theta_0,\theta_1$开始，如 $\theta_0=0,\theta_1=0$
- 不断改变 $\theta_0,\theta_1$（朝梯度方向）,以减小 $J(\theta_0,\theta_1)$
- 直到我们找到 J 的最小值或者局部最小值
- 图像解释
将图像想象成一座山，沿着下山最快的方向下降（即梯度方向），直到到达山谷
迭代公式
循环直至收敛 {$\theta_j=\theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)$
（for j = 0 and j = 1）
}其中$\alpha$是学习速率，决定以多大幅度更新参数
更新过程（注意$\theta$和temp0赋值的执行顺序不能交换，因为需要同步更新$\theta_0\theta_1$）
$temp0=\theta_0-\alpha\frac{\partial}{\partial\theta_0}J(\theta_0,\theta_1)$
$temp1=\theta_1-\alpha\frac{\partial}{\partial\theta_1}J(\theta_0,\theta_1)$
$theta_0=temp0$
$theta_1=temp1$
收敛
学习速率$\alpha$
如果$\alpha$过小，收敛速度会非常慢
如果$\alpha$过大，梯度下降可能会越过最小值，收敛速度慢甚至发散由于最低点导数值为0，因此随着梯度下降算法的执行，它会自动采取较小的幅度（因为导数值越来越小），因此没必要逐渐减小$\alpha$
三、矩阵乘法的特性
- 不符合交换律: $A\times B\ne B\times A$
- 符合结合律: $(A\times B)\times C=A\times (B\times C)$
- 单位矩阵$I_{n\times n}$，$I\times A=A\times I=A$
四、特殊运算
- 矩阵的逆: $AA^{-1}=A^{-1}A=I$（其中A是一个方阵）
- 矩阵的转置 $A^T$，$A_{ij}=A^T_{ji}$
五、多元梯度下降法
Hypothesis Function: $H_\theta(x)=\theta_0+\theta_1 x_1+\theta_2 x_2+…+\theta_n x_n$
- 为了方便，一般假设 $x_0=1$
- 可用矩阵形式表示: $H_\theta(x)=\theta^T\mathrm{x}$
Parameters: $\theta_0,\theta_1,…,\theta_n$，n+1维向量
Cost Function: $J(\theta_0,\theta_1,\dots,\theta_n)=\frac{1}{2m}\sum_\limits{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$
Multiple Gradient Descent:
Repeat{
$\theta_j=\theta_j-\alpha\frac{1}{m}\sum_\limits{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)}_j$
更新 $\theta_j,j=0,1,\dots,n$
}
例如有2个特征的梯度下降算法:
$\theta_0=\theta_0-\alpha\frac{1}{m}\sum_\limits{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)}_0$
$\theta_1=\theta_1-\alpha\frac{1}{m}\sum_\limits{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)}_1$
$\theta_2=\theta_2-\alpha\frac{1}{m}\sum_\limits{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)}_2$梯度下降运算的技巧
特征缩放（Feature Scaling）
使几个特征的大小在相似的规模，使变量间具有可比性，这样会使得梯度下降收敛得更快
如让每一个特征的取值都在与 $-1\le x_i\le 1$ 相近的范围内
例如可以接受 $0\le x_1\le 3,-2\le x_2\le 0.5$ ，不能接受 $-100\le x_3\le 100,-0.0001\le x_4\le 0.0001$
方法有：- Z-Score标准化: $x^*=\frac{x-\mu}{\sigma}$
- min-max归一化（将结果映射到0-1之间）: $x^*=\frac{x-min}{max-min}$
- …
调试（Debugging）
确定梯度下降是否正确运行
代价函数的值应该随迭代减小。在迭代到达一定程度时，代价函数值变化不会太大，可以通过画出代价函数值随着迭代次数的变化曲线，判断应该选择的迭代次数
选择合适的学习速率
可以通过每隔一段步长选择 $\alpha$ 值，画出代价函数值的变化曲线来选取合适的 $\alpha$ 值。如0.001,0.003,0.01,0.03,0.1,0.3,…,1,…
特征和多项式回归
通过观察数据分布选择多项式如二次模型、三次模型等
$h_\theta(x)=\theta_0+\theta_1 x_1+\theta_2 x_2^2$
$h_\theta(x)=\theta_0+\theta_1 x_1+\theta_2 x_2^2+\sqrt{\theta_3 x_3}$
$h_\theta(x)=\theta_0+\theta_1 x_1+\theta_2 x_2^2+\theta_3 x_3^3$
六、正规方程解法（区别于迭代法的直接解法）
方法
- 如让目标函数对每一个未知变量求偏导，并将其置零，得到每一个变量值
- 令 $\theta=(X^TX)^{-1}X^TY$ ，会得到代价函数的最小值 $\min_\limits{\theta}J(\theta)$
和梯度下降法的对比(m个训练样本，n个特征值)
梯度下降法（Gradient Descent）
- 需要选择学习速率 $\alpha$
- 需要多次迭代
- 在特征量很多时效果比较好
正规方程法（Normal Equation）
- 不需要选择 $\alpha$
- 不需要迭代
- 需要计算 $(X^TX)^{-1}$ （是一个 $n\times n$ 的矩阵，计算逆矩阵的时间复杂度是 $O(n^3)$ ）
- 特征量多时运行很慢
- 矩阵可逆才能使用
正规方程法在矩阵不可逆的情况下的解决方法
不可逆的原因：
- 由于某些原因，学习问题包含了多余的特征
- 学习算法有很多特征，导致m小于n，即样本数少于特征数
解决：- 可以通过观察特征之间的关系，也许是线性相关的，可以删掉多余特征
- 可以用MATLAB的求逆函数求出伪逆