线性代数笔记

向量

内积

又叫数量积，点积

• 相应元素相乘，再加起来，是一个数

• 几何意义：设向量B的模为1，则A与B的内积值等于A向B所在直线投影的矢量长度

外积

又叫叉积，向量积

• 一个简单的确定满足“右手定则”的结果向量的方向的方法是这样的：若坐标系是满足右手定则的，当右手的四指从A以不超过180度的转角转向B时，竖起的大拇指指向是C的方向

矩阵

阶梯矩阵

线性代数中，一个矩阵如果符合下列条件的话，我们称之为行阶梯形矩阵（英语：Row Echelon Form）：

• 所有非零行（矩阵的行至少有一个非零元素）在所有全零行的上面。即全零行都在矩阵的底部。

• 非零行的首项系数（leading coefficient），也称作主元，即最左边的首个非零元素，严格地比上面行的首项系数更靠右（某些版本会要求非零行的首项系数必须是1[1]）。

• 首项系数所在列，在该首项系数下面的元素都是零（前两条的推论）。

增广矩阵

增广矩阵是在线性代数中系数矩阵的右边添上线性方程组等号右边的常数列得到的矩阵，如：方程$\displaystyle AX=B$ 系数矩阵为$\displaystyle A$，它的增广矩阵为$\displaystyle (A|B)$

秩

• 「秩」是图像经过矩阵变换之后的空间维度

• 「秩」是列空间的维度

• 用初等行变换将矩阵A化为阶梯形矩阵, 则矩阵中非零行的个数就定义为这个矩阵的秩, 记为r（A）

• 在m * n矩阵A中，非零子式的最高阶数称为矩阵A的秩，记为r(A)或秩A。 　　规定零矩阵的秩为零。

满秩矩阵

• non-singular matrix
• 非奇异矩阵 可逆矩阵常称为满秩矩阵。 把秩为m的m * n矩阵称为行满秩矩阵，把秩为n的m * n矩阵称为列满秩矩阵。

行列式

行列式det(A)是针对一个n * n的矩阵A而言的, A表示一个n维空间到n维空间的线性变换, 行列式就是线性变换的放大率！

协方差矩阵

• 方差是用来度量一维数据的，协方差用来度量多维数据 $$cov(x, y) = \dfrac{\Sigma_{i=1}^n(x_i - \overline{x})(y_i - \overline{y})}{n - 1}$$
• 如果结果为正值，则说明两者是正相关的，如果是负数，是负相关的，如果是0，则互相独立
• 协方差矩阵是各个维度的协方差，对角线上就是各个维度的方差，说明方差是协方差的特殊形式，三维数据的协方差矩阵为:$$\begin{pmatrix} cov(x, x) & cov(x, y) & cov(x, z) \\\ cov(y, x) & cov(y, y) & cov(y, z) \\\ cov(z, x) & cov(z, y) & cov(z, z) \end{pmatrix}$$

特征值分解

先给一个简短的回答，如果把矩阵看作是运动，对于运动而言，最重要的当然就是运动的速度和方向，那么（我后面会说明一下限制条件）：

• 特征值就是运动的速度
• 特征向量就是运动的方向
• 特征值分解（Eigenvalue decomposition: EVD）
• 如果方阵对某个向量只产生伸缩，而不产生旋转效果，那么这个向量就称为矩阵的特征向量，伸缩的比例就是对应的特征值
• 而奇异值分解其实可以看做是特征值分解在任意矩阵(m×nm×n)上的推广形式

格拉姆矩阵/Gram matrix

$ G = A^TA = \begin{pmatrix} a_1^Ta1 & a_1^Ta_2 & ... & a_1^Ta_n \
a_2^Ta1 & a_2^Ta_2 & ... & a_2^Ta_n \
a_n^Ta1 & a_n^Ta_2 & ... & a_n^Ta_n \end{pmatrix} $ 就是两两向量做内积