困学纪闻注:线性代数

向量

\(l_1\) 范数 为向量的各个元素的绝对值之和

\[\|\mathbf{v}\|_{1}=\sum_{i=1}^{n}\left|v_{i}\right| \]

\(l_2\) 范数 /Frobenius 范数 为向量的各个元素的平方和再开平方

\[\|\mathbf{v}\|_{2}=\sqrt{\sum_{i=1}^{n} v_{i}^{2}}=\sqrt{\mathbf{v}^{\mathrm{T}} \mathbf{v}} \]

矩阵

Hadamard 积

\[[A \odot B]_{i j}=a_{i j} b_{i j} \]

矩阵范数

\[\|A\|_{p}=\left(\sum_{i=1}^{m} \sum_{j=1}^{n}\left|a_{i j}\right|^{p}\right)^{1 / p} \]

Gram 矩阵 向量空间中一组向量 \(\mathbf{v}_{1}, \mathbf{v}_{2} \cdots, \mathbf{v}_{n}\) Gram 矩阵。\(G\) 式内积的对称矩阵,其元素 \(G_{ij}\)\(\mathbf{V}_{i}^{\mathrm{T}} \mathbf{v}_{j}\)

一个重要的应用是计算线性无关:一族向量线性无关当且仅当格拉姆行列式(格拉姆矩阵的行列式)不等于零。

正定矩阵 方块[对称] 矩阵 \[\mathbf{x}^{\mathrm{T}} A \mathbf{x}>0 \]

正交矩阵 / 酉矩阵 方块矩阵,其逆矩阵等于转置矩阵

\[A^{\mathrm{T}}=A^{-1} \]

特征值与特征向量

\[A \mathbf{v}=\lambda \mathbf{v} \]

奇异值分解 \(m \times n\) 的矩阵

\[A=U \Sigma V^{\mathrm{T}} \]

\(U\)\(V\) 分别为 \(m \times m\)\(n \times n\) 的正交矩阵。\(\Sigma\)\(m \times n\) 的对角矩阵,其对角线上的元素称为 奇异值

特征分解 \(n \times n\) 的方块矩阵

\[A=Q \Lambda Q^{-1} \]

\(Q\)\(n \times n\) 方块矩阵,每一列都是 特征向量\(\Lambda\) 为对角阵,每个对角元素都是特征值。

如果 \(A\) 为对称矩阵,则 \(A\)可以被分解为正交矩阵正交矩阵连乘。