1) Model representation(模型表示)
回到第一课中的房屋价格预测问题, 首先它是一个有监督学习的问题(对于每个样本的输入,都有正确的输出或者答案),同时它也是一个回归问题(预测一个实值输出)。
训练集表示如下:

其中:
m = 训练样本的数目
x's = “输入”变量,也称之为特征
y's = “输出”变量,也称之为“目标”变量
对于房价预测问题,学习过程可用下图表示:

其中x代表房屋的大小,y代表预测的价格,h(hypothesis)将输入变量 x 映射到输出变量 y,如何表示h?
事实上Hypothesis可以表示成如下形式:
\[h_\theta(x) = \theta_0 + \theta_1 x\]
简写为 h(x),也就是带一个变量的线性回归或者单变量线性回归问题。
2) Cost function(代价函数,成本函数)
对于Hypothesis: \(h_\theta(x) = \theta_0 + \theta_1 x\)
\(\theta_i\) 为参数
如何求\(\theta_i\)?

构想: 对于训练集(x, y),选取参数\(\theta_0\), \(\theta_1\)使得\(h_\theta(x)\)尽可能的接近y。
如何做呢?一种做法就是求训练集的平方误差函数(squared error function),Cost Function可表示为:
\[J(\theta_0, \theta_1) = \frac{1}{2m}\sum_{i=1}^m{(h_\theta(x^{(i)}) - y^{(i)})^2}\]
并且选取合适的参数使其最小化,数学表示如下:
\[\displaystyle\mathop{\mathrm{minimize}}\limits_{\theta_0, \theta_1} J(\theta_0, \theta_1)\]
3) Cost function intuition I(直观解释1)
直观来看,线性回归主要包括如下四大部分,分别是Hypothesis, Parameters, Cost Function, Goal:

这里作者给出了一个简化版的Cost function解释,也就是令\(\theta_0\)为0:

然后令\(\theta_1\)分别取1、0.5、-0.5等值,同步对比\(h_\theta(x)\)和\(J(\theta_0, \theta_1)\)在二维坐标系中的变化情况,具体可参考原PPT中的对比图,很直观。
4) Cost function intuition II(直观解释2)
回顾线性回归的四个部分,这一次不在对Cost Function做简化处理,这个时候\(J(\theta_0, \theta_1)\)的图形是一个三维图或者一个等高线图,具体可参考原课件。
可以发现,当\(h_\theta(x)\)的直线越来越接近样本点时,\(J(\theta_0, \theta_1)\)在等高线的图中的点越来越接近最小值的位置。