问题：相合估计
定义
我们已经知道，相合性是评价参数估计优劣的一种方法。我们所熟知的相合性的定义是：
定义（弱相合估计）：设$\theta\in \Theta$为未知参数，对于每个自然数$n$，有$\hat{\theta}_n=\hat{\theta}_n(x_1,x_2,\cdots ,x_n)$是$\theta$的一个估计量，若$\hat{\theta}_n$依概率收敛于$\theta$，即对给定的$\varepsilon>0$，有 \(\lim_{n\to\infty}\mathbb{P}(|\hat{\theta}_n-\theta|>\varepsilon)=0\) 那么称$\hat{\theta}_n$为$\theta$的（弱）相合估计。
事实上，我们还可以进一步给出如下定义：
定义（强相合估计）：在上面的定义里，如果有 \(\mathbb{P}(\lim_{n\to\infty}|\hat{\theta}_n-\theta|>\varepsilon)=0\) 则称$\hat{\theta}_n$为$\theta$的强相合估计
定义（$r$阶相合估计）：若$\exists r>0$，如果有 \(\lim_{n\to\infty}\mathbb{E}|\hat{\theta}_n-\theta|^r=0\) 则称$\hat{\theta}_n$为$\theta$的$r$阶相合估计
问题
设$X_1,X_2,\cdots,X_n\text{i.i.d}\sim U(0,\theta)$，其中$\theta>0$
- 求$\theta$的MLE$\hat{\theta}_n$
- 证明$\hat{\theta}_n$是$\theta$的强相合估计
- 证明$\hat{\theta}_n$是$\theta$的$r$阶相合估计
提示：考虑使用Borel-Cantelli引理
解答
问题1
由题设$p(x;\theta)=\dfrac{1}{\theta}$，则$L(\theta)=p(\boldsymbol{x};\theta)=\dfrac{1}{\theta^n}$
不难发现$L(\theta)$单调递减，故其MLE$\hat{\theta}=x_{(n)}$
问题2
考虑使用Borel-Cantelli引理，只需要证明$\forall \varepsilon>0$，有 \(\sum_{n=1}^\infty \mathbb{P}(|\hat{\theta}_n-\theta|\geqslant\varepsilon)<\infty\) 由于$x_{(n)}$的概率密度为 \(p_n(x_{(n)})=\frac{n}{\theta^n}x_{(n)}^{n-1}\quad0<x_{(n)}<\theta\) 故 \(\begin{align*} &\sum_{n=1}^\infty \mathbb{P}(|\hat{\theta}_n-\theta|\geqslant\varepsilon)=\sum_{n=1}^\infty1-\mathbb{P}(|\hat{\theta}_n-\theta|<\varepsilon)\\ =&\sum_{n=1}^\infty1-\int_{\theta-\varepsilon}^\theta p_n(x_{(n)})dx_{(n)}\\ =&\sum_{n=1}^\infty\left(1-\frac{\varepsilon}{\theta}\right)^n=\frac{\theta}{\varepsilon}-1<\infty \end{align*}\) 则由引理知$x_{(n)}$是$\theta$的强相合估计
问题3
\[\begin{align*} &\lim_{n\to\infty}\mathbb{E}|x_{(n)}-\theta|^r=\lim_{n\to\infty}\frac{n}{\theta^n}\int_{0}^\theta(\theta-x_{(n)})^r\text{d}x_{(n)}\\ =&\lim_{n\to\infty}\frac{r!}{n!}=0 \end{align*}\]故$x_{(n)}$是$\theta$的$r$阶相合估计
补充
-
正如概率论中各种收敛之间的关系一样，各个相合估计之间也有：
- 强相合估计$\to$弱相合估计，反之不真
- $r$阶相合估计$\to$弱相合估计，反之不真
- 强相合估计与$r$阶相合估计无互相推出的关系
-
《数理统计学（第二版）》、《数据科学的统计基础》两书介绍了矩估计具有（弱）相合性，事实上它们也有强相合性
-
由独立同分布下的kolmogorov强大数定律，样本的原点矩是总体原点矩的强相合估计
-
对于中心矩、以及连续变换下的矩估计，可以通过证明以下引理来证明
引理：设$f(x_1,x_2,\cdots,x_k)$在$(c_1,c_2,\cdots,c_k)$处连续，若对于任意的$i=1,2,\cdots,n$，均有$x_{ni}$几乎处处收敛到$c_i$，则$f(x_{n1},x_{n2},\cdots,x_{nk})$几乎处处收敛到$f(c_1,c_2,\cdots,c_n)$
注：以上定理的证明可以参考《数据科学的统计基础》构造的事件
-