向量
\(l_1\) 范数 为向量的各个元素的绝对值之和
\[\|\mathbf{v}\|_{1}=\sum_{i=1}^{n}\left|v_{i}\right| \]
\(l_2\) 范数 /Frobenius 范数 为向量的各个元素的平方和再开平方
\[\|\mathbf{v}\|_{2}=\sqrt{\sum_{i=1}^{n} v_{i}^{2}}=\sqrt{\mathbf{v}^{\mathrm{T}} \mathbf{v}} \]
矩阵
Hadamard 积
\[[A \odot B]_{i j}=a_{i j} b_{i j} \]
矩阵范数
\[\|A\|_{p}=\left(\sum_{i=1}^{m} \sum_{j=1}^{n}\left|a_{i j}\right|^{p}\right)^{1 / p} \]
Gram 矩阵 向量空间中一组向量 \(\mathbf{v}_{1}, \mathbf{v}_{2} \cdots, \mathbf{v}_{n}\) Gram 矩阵。\(G\) 式内积的对称矩阵，其元素 \(G_{ij}\) 为 \(\mathbf{V}_{i}^{\mathrm{T}} \mathbf{v}_{j}\) 。
一个重要的应用是计算线性无关：一族向量线性无关当且仅当格拉姆行列式（格拉姆矩阵的行列式）不等于零。
正定矩阵 方块[对称] 矩阵 \[\mathbf{x}^{\mathrm{T}} A \mathbf{x}>0 \]
正交矩阵 / 酉矩阵 方块矩阵，其逆矩阵等于转置矩阵
\[A^{\mathrm{T}}=A^{-1} \]
特征值与特征向量
\[A \mathbf{v}=\lambda \mathbf{v} \]
奇异值分解 \(m \times n\) 的矩阵
\[A=U \Sigma V^{\mathrm{T}} \]
\(U\) 和 \(V\) 分别为 \(m \times m\) 和 \(n \times n\) 的正交矩阵。\(\Sigma\) 为 \(m \times n\) 的对角矩阵，其对角线上的元素称为 奇异值。
特征分解 \(n \times n\) 的方块矩阵
\[A=Q \Lambda Q^{-1} \]
\(Q\) 为 \(n \times n\) 方块矩阵，每一列都是 特征向量，\(\Lambda\) 为对角阵，每个对角元素都是特征值。
如果 \(A\) 为对称矩阵，则 \(A\)可以被分解为正交矩阵正交矩阵连乘。