最小二乘法

最小二乘法（Least Squares Method）是一种数学优化技术，用于拟合数据并最小化预测误差的总平方。它广泛应用于统计学、经济学、工程学等领域，特别是在线性回归分析中。

最小二乘法的基本思想是：找到一个函数（通常是线性函数），使得所有数据点到该函数的垂直距离（即残差）的平方和最小。

具体来说，考虑一个线性模型： $Y=a+bX+\epsilon$ 其中，$Y$ 是因变量，$X$ 是自变量，$\epsilon$ 是误差项，$a$ 和 $b$ 是待估计的参数。

最小二乘法的目标是找到 $a$ 和 $b$ 的值，使得所有观测点的残差平方和最小，即： ${\sum }_{i=1}^n{\epsilon }_i^2={\sum }_{i=1}^n(Y_i-a-b{X}_i{)}^2$ 最小。

为了实现这一目标，我们可以对 $a$ 和 $b$ 分别求偏导数，并将它们设为零，从而得到 $a$ 和 $b$ 的估计值。

最小二乘法的主要优点是它为线性模型提供了封闭形式的解，这意味着可以直接计算出参数的估计值，而不需要迭代算法。然而，它也有一些局限性，例如，它假设误差项是独立且同分布的，并且具有恒定的方差。如果这些假设不成立，最小二乘估计可能会受到偏见。