矩阵的奇异值分解定理：
设矩阵
，秩为
，
，则该矩阵可以分解为：
也可以表示为：
。
其中：
为矩阵
（或者
）的非零向量,
为的对应特征向量，
为的对应特征向量，
。
SVD的第一个作用之低秩近似（Low Rank Approximation）：
，
，
即用矩阵
近似
。
SVD的第二个作用之特征降维（Dimensionality Reduction）：
假设特征是按列存储的，即：
，
其中
，
。
我们在低秩近似中已经用近似表示了。
则根据分块矩阵的乘法，我们很容易得到：
，。
令：
。
因为
，是相互正交的，所以根据
，
显然可以得出，可以近似由，张成，所以我们得出结论：
m维的
，可以降到
维的
，。