《机器学习》 第 3 章 线性模型 读书笔记

西瓜书 周志华 2016 年 12 月第 14 次印刷

3.1 基本形式

线性模型的预测函数为：
$${f(x)=w_1x_1+w_2x_2+…+w_dx_d+b}$$
写成向量模式得到：
$${f(x)=w^Tx+b}$$

3.2 线性回归

线性回归能在给定数据集 ${D={(x_1,y_1),(x_2,y_2),…,(x_m,y_m)}}$，其中 ${x_i ={x_{i1};x_{i2};…;x_{id}},y_i\in\mathbb{R}}$学到一个线性模型从而进行预测。

考虑最简单情况，当 ${x_i}$ 为一维时，问题转换为求下式：
$${f(x_i)=wx_i+b}$$
使得
$${f(x_i)\simeq y_i}$$

使用平方损失函数作为衡量线性规划模型性能的指标，${f(x)}$ 与 ${y}$ 越接近，代表平方损失函数越小。即得到：