西瓜书 周志华 2016 年 12 月第 14 次印刷

3.1 基本形式

线性模型的预测函数为：

$${f(x)=w_1x_1+w_2x_2+...+w_dx_d+b}$$

写成向量模式得到：

$${f(x)=w^Tx+b}$$

3.2 线性回归

线性回归能在给定数据集 ${D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}}$，其中 ${x_i =\{x_{i1};x_{i2};...;x_{id}\},y_i\in\mathbb{R}}$学到一个线性模型从而进行预测。

考虑最简单情况，当 ${x_i}$ 为一维时，问题转换为求下式：

$${f(x_i)=wx_i+b}$$

使得

$${f(x_i)\simeq y_i}$$

使用平方损失函数作为衡量线性规划模型性能的指标，${f(x)}$ 与 ${y}$ 越接近，代表平方损失函数越小。即得到：

西瓜书 周志华 2016 年 12 月第 14 次印刷

1.1 引言

机器学习：利用经验来决策

1.2 基本术语

根据数据是否拥有标记信息分类：

1. 监督学习 supervised learning
   • 分类 classification
   • 回归 regression
2. 无监督学习 unsupervised learning
   • 聚类 clustering

1.3 假设空间

假设空间指的是所有跟问题相关的假设所组成的空间，学习过程是从假设空间中进行搜索，目标是找到与训练集「匹配」（fit）的假设。

在这么多的假设中，可能存在一些假设，得出的结果和训练集一致，这些假设组成的空间叫做「版本空间」（version space）。

1.4 归纳偏好

对于数据集中没有出现过的情况，算法可能会按照自己的偏好来预测结果，这种情况称为「归纳偏好」。为算法选取偏好时，可以使用「奥卡姆剃刀」原则，即有多个假设与观察一致，则选最简单的那个。但是什么是最简单的也需要仔细思考。

没有免费的午餐定理（No Free Lunch Theorem, NFL）

1. 在所有问题出现的机会相同时，所有的算法的期望性能相同。
2. 任何一个算法都有表现好的问题，也有表现差的问题。
3. 针对具体的学习问题研究算法。脱离具体问题，研究什么算法更好毫无意义。

1.7 阅读材料

其他科学研究中采用的假设选择原则
古希腊哲学家伊壁鸠鲁 「多释原则」：保留与经验观察一致的原则。