最大似然估计

定义

最大似然估计法，是指在已知样本的取值的情况下，在已知参数的取值域里找一个最有可能发生目前这个已知情况的参数，作为该参数的估计值。 （感觉就是字面上的意思啊，就是直观上最像的那个）

似然函数

概率函数本是两个参的函数 p(x, \(\theta\) ) ，当 \(\theta\) 确定时我们叫它概率密度或者是概率，当x确定时就叫似然函数。

在我们的课本上，多表现为概率的联合分布。

MLE (极大似然估计)

就是让似然函数取得最大值的那个值，通常以样本的函数的形式表示。

对数似然函数

顾名思义，就是似然函数取个对数。

对数似然方程

就是对数似然函数的值等于0时的方程。

举个栗子（书上的）

例在抽检废品的试验中(有放回抽样), 设 \(X1, · · · ,Xn\in b(1, p)\) , 其中未知参数 \(0 < p < 1\) 代表废品 率, 求 \(p\) 的最大似然估计量.

一般情况下, 可分下列三个步骤求解:

第一步，写出 (对数) 似然函数

\(\begin{array}{l} L(p)=p^{n=1} x_{t}(1-p)^{n-\sum_{i=1}^{n} x_{t}} \\ \mathcal{L}(p)=\sum_{i=1}^{n} x_{i} \ln p+\left(n-\sum_{i=1}^{n} x_{i}\right) \ln (1-p) . \end{array}\)

第二步，列出似然方程并求解

\(\frac{\mathrm{d} \mathcal{L}(p)}{\mathrm{d} p}=\frac{1}{p} \sum_{i=1}^{n} x_{i}-\frac{1}{1-p}\left(n-\sum_{i=1}^{n} x_{i}\right)=0\)

上述似然方程有唯一解

\(\widehat{p}=\frac{1}{n} \sum_{i=1}^{n} x_{i} .\)

第三步，验证方程解 \(\hat{p}\) 是否为最大似然估计值由于似然方程的解唯一并且

\(\mathcal{L}^{\prime \prime}(\widehat{p})=\left[-\frac{1}{p^{2}} \sum_{i=1}^{n} x_{i}-\frac{1}{(1-p)^{2}}\left(n-\sum_{i=1}^{n} x_{i}\right)\right]_{p=\widehat{p}}<0\)

所以 \(\widehat{p}\) 是 \(p\) 的最大似然估计值, 相应地, \(\frac{1}{n} \sum_{i=1}^{n} X_{i}\) 是 \(p\) 的 MLE. 由此例可知, 事件的频率也是概率的 MLE.

优良性质：函数不变性

当 \(\hat \theta\) 是 \(\theta\) 的一个MLE，则 \(T(\hat\theta)\) 也是 \(T(\theta)\) 的一个MLE。