矩阵

方阵 symmetric matrix

• 对称矩阵 symmetric matrix

  • 左下和右上元素以主对角线镜像对称

  • 转置结果为本身

    • $A=A^T$

[[对角矩阵]] diagonal matrix

副对角矩阵 anti-diagonal matrix

单位矩阵 identity matrix

• 对角线上元素是 1，其他元素是 0

三角矩阵 (triangular matrix)

• 如果矩阵 A 为可逆矩阵 (invertible matrix, non-singular matrix)，A 可以通过 LU 分解变成一个下三角矩阵 L 与一个上三角矩阵 U 的乘积。

[[矩阵逆]]

• $AB=BA=I$

• 逆 inverse $A^{-1}$

• 矩阵可逆也称为非奇异 non-singular

  • 方阵

  • 满秩

• [[广义逆阵]]

• [[正交矩阵]] orthogonal matrix

行列式 determinant

• 将方阵A根据一定规则映射到一个标量

• 二阶矩阵行列式的几何意义

  • $\mathbf{A}=\left[\begin{array}{ll}a_{11} & a_{12} \\ a_{21} & a_{22}\end{array}\right]$

  • 行列式值是两个列向量构成的平行四边形面积

    • 第一个向量顺时针到第二个向量的夹角小于 180 度结果为正

• 三阶矩阵行列式的几何意义

  • 列向量构成平行六面体的体积

• 多维

  • 多元高斯分布 $\varphi(x, \mu, \Sigma)=\frac{1}{(2 \pi)^{\frac{n}{2}}|\Sigma|^{\frac{1}{2}}} e^{-\frac{1}{2}(x-\mu)^{T} \Sigma^{-1}(x-\mu)}$

  • 矩阵行列式 $|\Sigma|^{\frac{1}{2}}$，体积缩放

迹 trace

• 方阵主对角线之和

• $\operatorname{tr}(\boldsymbol{A})=\sum_{i=1}^{n} a_{i, i}=a_{1,1}+a_{2,2}+\cdots+a_{n, n}$

矩阵乘向量：线性方程组

• $Ax=b$

• 解的个数

  • 欠定方程组 underdetermined system

  • 超定方程组 overdetermined system

• 线性组合 linear combination

  • $\left[\begin{array}{llll}a_{1} & a_{2} & \cdots & a_{D}\end{array}\right]_{1 \times D}\left[\begin{array}{c}x_{1} \\ x_{2} \\ \vdots \\ x_{D}\end{array}\right]_{D \times 1}=b_{n \times 1}$

向量乘矩阵乘向量：二次型

• quadratic form

• $x^TQx=q$

  • $\boldsymbol{x}^{\mathrm{T}} \boldsymbol{Q} \boldsymbol{x}=\sum_{i=1}^{D} q_{i, i} x_{i}^{2}+\sum_{i=1}^{D} \sum_{j=1}^{D} q_{i, j} x_{i} x_{j}=q$

• 二次曲线

  • $f\left(x_{1}, x_{2}\right)=\left[\begin{array}{ll}x_{1} & x_{2}\end{array}\right]\left[\begin{array}{ll}a & b \\ c & d\end{array}\right]\left[\begin{array}{l}x_{1} \\ x_{2}\end{array}\right]=a x_{1}^{2}+(b+c) x_{1} x_{2}+d x_{2}^{2}$

方阵乘方阵 [[矩阵/分解]]

• [[幂等矩阵]] idempotent matrix

  • $A^2=A$

[[对角矩阵]] ：批量缩放

[[置换矩阵]] permutation matrix：调整元素顺序

• 由 0 和 1 组成的方阵，每一行每一列恰好有一个 1。

• 行向量左右翻转

  • 行向量乘以副对角线上元素为1的方阵

长方阵

• [[奇异值分解]]

• 拉格姆矩阵 Gram matrix

  • $G=X^TX$

  • $\left(\boldsymbol{X}^{\mathrm{T}} \boldsymbol{X}\right)_{i, j}=\boldsymbol{x}_{i}^{\mathrm{T}} \boldsymbol{x}_{j}$

  • 两两向量之间的相似度

  • [[协方差]]矩阵

  • 元素平方和

    • $\begin{aligned} \operatorname{trace}\left(\boldsymbol{X}^{\mathrm{T}} \boldsymbol{X}\right) &=\operatorname{trace}\left[\begin{array}{cccc}\boldsymbol{x}_{1} \cdot \boldsymbol{x}_{1} & \boldsymbol{x}_{1} \cdot \boldsymbol{x}_{2} & \cdots & \boldsymbol{x}_{1} \cdot \boldsymbol{x}_{D} \\ \boldsymbol{x}_{2} \cdot \boldsymbol{x}_{1} & \boldsymbol{x}_{2} \cdot \boldsymbol{x}_{2} & \cdots & \boldsymbol{x}_{2} \cdot \boldsymbol{x}_{D} \\ \vdots & \vdots & \ddots & \vdots \\ \boldsymbol{x}_{D} \cdot \boldsymbol{x}_{1} & \boldsymbol{x}_{D} \cdot \boldsymbol{x}_{2} & \cdots & \boldsymbol{x}_{D} \cdot \boldsymbol{x}_{D}\end{array}\right] \\ &=\boldsymbol{x}_{1} \cdot \boldsymbol{x}_{1}+\boldsymbol{x}_{2} \cdot \boldsymbol{x}_{2}+\cdots+\boldsymbol{x}_{D} \cdot \boldsymbol{x}_{D} \\ &=\sum_{i=1}^{n} x_{i, 1}^{2}+\sum_{i=1}^{n} x_{i, 2}^{2}+\cdots+\sum_{i=1}^{n} x_{i, D}^{2} \\ &=\sum_{j=1}^{D} \sum_{i=1}^{n} x_{i, j}^{2} \end{aligned}$

• 张量积

[[爱因斯坦求和]] 约定

• np.einsum('ij,jk->ik', A, B)

分块矩阵

列满秩

• 每一行都有非零的数

• 对应多个方程有解

[[正交投影]]