极大似然估计(Maximum Likelihood Estimation,简称MLE)是统计学中的一种参数估计方法。它的基本思想是,给定一个概率模型和一组观测数据,我们应该选择哪些参数值使得观测到这组数据的可能性(似然)最大。

具体来说,假设我们有一个概率模型,该模型由参数 决定,并且我们有一组观测数据 。似然函数 表示在参数 下观测到这组数据的概率。MLE 的目标是找到一个参数值 ,使得 达到最大值,即:

在实际应用中,为了简化计算,我们通常会取似然函数的对数,得到对数似然函数。因为对数是单调递增函数,所以最大化似然函数和最大化对数似然函数是等价的。

MLE 有许多良好的性质,例如在某些条件下,MLE 是无偏的、有效的,并且随着样本大小的增加,MLE 会收敛到真实的参数值。但是,MLE 也有其局限性,例如在某些情况下,MLE 可能不存在或者不是唯一的。

在统计学和机器学习中,MLE 是一种非常常用的参数估计方法,被广泛应用于各种模型的参数估计,如线性回归、逻辑回归、混合模型等。