范数
范数是一种用来度量某个向量空间中的向量长度或大小的手段。
P范数
$|\boldsymbol{x}|{p}=\left(\left|x{1}\right|^{p}+\left|x_{2}\right|^{p}+\cdots+\left|x_{D}\right|^{p}\right)^{1 / p}=\left(\sum_{i=1}^{D}\left|x_{i}\right|^{p}\right)^{1 / p}$
考虑 f(x1,x2), p 越大，范数值的图形越接近正方形
+
凹凸形
p>1 范数等高线形状为凸
0<p<1 范数等高线形状为凹
L1 范数
曼哈顿距离
套索回归 [[LASSO regression]]
L2 范数
欧几里得距离
[[岭回归]]
[[弹性网络回归]] 不同比例引入 L1 和 L2 正则项
$L^{\infty}$ 范数：正方形
切比雪夫距离 Chebyshev distance
$|\boldsymbol{x}|{\infty}=\max \left(\left|x{1}\right|,\left|x_{2}\right|, \cdots,\left|x_{D}\right|\right)$
几何图形
$\max {\left|x_{1}\right|,\left|x_{2}\right| }= 1$
- $\begin{cases}x_{1}=\pm 1 & x_{1}^{2}-x_{2}^{2}>0 \ x_{2}=\pm 1 & x_{1}^{2}-x_{2}^{2}<0\end{cases}$
$x_1^2 - x_2^2 > 0$
- $x_1^2 - x_2^2 = 0$ 双曲线
+ 该范数对应的图形
