最小二乘法最早由高斯在18世纪提出，几百年以来，这种方法一直被广泛应用。

最小二乘简介

这里是研究最小二乘的起点。随机变量只能存在与理论计算中，我们在工程实践中对随机变量的认识与理论计算中得到的关于随机变量的各种性质相比，是有本质不同的，在实际操作中，要通过采样（Sampling）来研究随机变量，而且由于变量是随机的，对于同一个变量每次采样的结果往往是不一样的，所以仅仅采集一个样本是不够的，假设现在有采样样本：

最小二乘的性质

无偏性（unbiasness）

估计误差

Gauss-Markov定理

最优的线性估计

矩阵的奇异值分解（Singular Value Decomposition, SVD）

矩阵的特征分解

矩阵的正交对角分解

矩阵的奇异值分解

SVD的应用

伪逆

对前面的进一步说明

前面证明最小二乘估计是最优线性估计时，有

------------------------------------------------------------------------------------------------
因为文档中公式较多，不方便编辑，所以本文使用截图的方式展现。如需电子版文档，可以通过下面的链接进行下载。

链接http://generatelink.xam.ink/change/makeurl/changeurl/11775