Site Overlay

概率论复习:参数估计

感谢宋浩!

务必记住以下前置结论(单正态总体的抽样分布):

$$
\overline{X} \sim N(\mu, \frac{\sigma^2}{n})\\
\frac{\overline{X} - \mu}{\sigma / \sqrt{n}} \sim N(0,1)
$$
$$
\frac{\overline{X} - \mu}{S / \sqrt{n}} \sim t(n-1)
$$
$$
\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)
$$

(推导过程见宋浩)

下面尽量记住:

$$
E(S^2) = \sigma^2\\
D(S^2) = \frac{2\sigma^4}{n-1}
$$

基本概念

参数估计:知道是个啥分布,不知道参数。比如用我们班十个人的身高,估计全校学生的平均身高这一参数。

非参数估计:连是个啥分布也不知道,要估计是啥分布

我们的重点是参数估计。

参数估计分为:

  • 点估计:估计出一个值
  • 区间估计:估计出一个合理范围

参数估计问题,我们要明白目的是什么。我们的目的是“以小见大”,用少量样本估计总体的参数。

$P(\hat{\theta_1}\leqslant \theta {\leqslant} \hat{\theta_2}) = 1-\alpha$,则 $1-\alpha$置信度(置信水平)$[\hat{\theta_1},\hat{\theta_2}]$ 则是置信区间

考试考查的是:输入置信度,输出置信区间。

$\theta$ 是确定的,则置信度表示置信区间能套住 $\theta$ 的概率。

有时,我们不好确定 $\theta$ 的置信区间,但是好确定 $I= f(\theta:k_1, k_2, \cdots)$$k_i$ 为已知量,此处意思是)的置信区间、分布,且和 $\theta$ 无关,则可以由此反推 $\theta$ 的范围。则 $I$ 可以称为枢轴变量

参数的点估计

矩估计法

样本的各阶矩,估计总体的各阶矩,而总体各阶矩是函数之于总体参数,从而可确定总体参数。

各阶矩是什么东西?下面简要引述此文的说法,帮助理解。

$c$$n$ 阶矩定义为:

$$
\mu'_n = \int_{-\infty}^{+\infty}(x-c)^{n}f(x)\mathrm{d}x
$$

$c = 0, n = 1$,称为 一阶原点矩,在统计学中表示 随机变量的期望(若以 $f(x)$ 表示概率密度,下同,不复述。)可以理解 $x$ 为变量,$f(x)$ 为权重,加权求和得到的就是均值。

$c = E(x), n =2$ 称为 二阶中心距,在统计学中表示 随机变量的方差

$c = E(x), n = 3$,称为 三阶中心距,在统计学中表示 随机变量的偏态

一般考试就涉及到一阶矩和二阶矩,也即:$EX = A_1, EX^2 = A_2$,联立解出参数便可。$EX^n$ 是总体的 $n$ 阶矩,$A_n$ 是样本的 $n$ 阶矩。$A_1$ 就是均值。$A_2$ 就是平方均值。

极大似然估计(重中之重)

假设这个盒子里,要么是情况 A:99 个黑球、1 个白球,要么是情况 B:99 个白球,一个黑球。你随手摸了一个,结果是黑球,那么你觉得这个盒子里哪种情形更有可能?自然是情况 A 更有可能。这就是极大似然估计。

极大似然估计法的目的:通过取得的样本估计总体样本。

模板

(1)写出总体的概率函数(离散)/密度函数(连续)。

(2)写似然函数

$\lambda$ 的似然函数为 $L(\lambda) = \text{xxx}$ (各种取值概率连乘)

问题就是 $\lambda = ?$ 的时候 $L$ 函数最大(概率最大),怎么求最大值?憨批,不要连乘  ̄へ ̄。

(3)两边取对数 $\ln L$

$\ln(\lambda) = \text{xxx}$

点估计的优良性准则

无偏性:估计值的期望和真实值相同。

方差是有偏估计,样本方差是无偏估计

有效性:方差越小越有效。

正态总体估计均值和方差的区间

估计 $\mu$

$\sigma^2$ 已知

【方法】

构造 $I = \dfrac{\sqrt{n}(\bar{x} - \mu)}{\sigma}\sim u=N(0,1)$,双侧采用 $\pm u_{\alpha/2}$,单侧采用 $u_{\alpha}$

【例子】n=5, alpha=0.05, xData = [1650, 1700, 1680, 1820, 1800], u(0.025)=1.96, $X\sim N(\mu, \sigma^2)$$\sigma^2 = 9$。求 $\mu$ 范围。

【分析与解答】

$\bar{X} = 1730$,构造 $I = \dfrac{\sqrt{n}(\bar{x} - \mu)}{\sigma} \in [-1.96, 1.96]$。解出 $1727.37 \leq \mu \leq 1732.63$

原理:分布标准化,然后直接解出。

$\sigma^2$ 未知

【方法】

构造 $T = \dfrac{\sqrt{n}(\bar{x} - \mu)}{s}\sim t(n-1)$,双侧采用 $\pm t_{\alpha/2}(n-1)$,单侧采用 $t_{\alpha}(n-1)$

【例子】同上题数据,但不知道 $\sigma^2$

构造 $T = \dfrac{\sqrt{n}(\bar{x} - \mu)}{s}$,其中 $s$ 是样本标准差,可通过给定数据求出。

根据 t 分布的定义,$T \sim t(n-1)$

则:

$$
-t_{\alpha/2}(n-1)\leq \dfrac{\sqrt{n}(\bar{x} - \mu)}{s} \leq t_{\alpha/2}(n-1)
$$

可反求 $\mu$ 的范围。

原理:标准差 $s = \sqrt{\chi_n^2/n} = X/T$,所以 $T = x/s$

估计 $\sigma^2$

$\mu$ 已知

【方法】

构造 $\chi^2 = \dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i - \mu)^2 \sim \chi^2(n)$,双侧采用 $\chi^2_{1-\frac{\alpha}{2}}(n)$$\chi^2_{\frac{\alpha}{2}}(n)$,单侧换 $\alpha$

由于 $\chi^2 = \dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i - \mu)^2 \sim \chi^2(n)$。给定 $1-\alpha$

查表可得 $\chi^2_{1-\frac{\alpha}{2}}(n)$$\chi^2_{\frac{\alpha}{2}}(n)$。(注意:卡方分布不对称,两个都得查)

$\chi^2_{1-\frac{\alpha}{2}}(n) \leq \dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i - \mu)^2 \leq \chi^2_{\frac{\alpha}{2}}(n)$

可反求 $\sigma^2$ 的范围。

$\mu$ 未知

【方法】

构造 $\chi^2 = \dfrac{(n-1)s^2}{\sigma^2} \sim \chi^2(n-1)$。查表可得 $\chi^2_{1-\frac{\alpha}{2}}(n-1)$$\chi^2_{\frac{\alpha}{2}}(n-1)$。后面同理。

单侧置信区间

这种情况下,把双侧的 $\alpha/2$ 换为 $\alpha$,只取上限或者下限即可。

【例子】 设样本 $\left(X_{1}, X_{2}, \ldots, X_{n}\right)$ 来自总体 $X,$ 且总体的均值 $\mu$ 未知 $,$$\mu$ 的矩估计量。

答:$EX = A_1 = \bar{X} = \mu$,矩估计量就是样本的一阶原点矩。

【例子】设样本 $\left(X_{1}, X_{2}, \ldots, X_{n}\right)$ 来自总体 $X \sim N\left(\mu, \sigma^{2}\right), \quad$$\mu$$\sigma^{2}$的矩估计量。

答:

$EX = \bar{X} = \mu$

$EX^2 = DX + (EX)^2 = \sigma^2 + \mu^2= A_2$

所以 $\sigma^2 = A_2 - \bar{X}^2 = B_2$ 就是二阶中心距。

【例子】X1, X2 是来自总体 X 的容量为 2 的样本,下面 E(X) 的无偏估计量中,最有效的估计是?

A. $\dfrac{2}{3}X_1+\dfrac{1}{3}X_2$

B. $\dfrac{2}{5}X_1 + \dfrac{3}{5}X_2$

【分析】最有效的就是 方差最小的。设 $D(X_1) = D(X_2) = a$

$D(\dfrac{2}{3}X_1+\dfrac{1}{3}X_2) = \dfrac{5}{9}a$

$D(\dfrac{2}{5}X_1 + \dfrac{3}{5}X_2) = \dfrac{13}{25}a$

相除得到 $\dfrac{5 \cdot 25}{13 \cdot 9} = \dfrac{125}{117}$,所以 A 的更小,选 A.

【例子】 总体 $X\sim P(\lambda)$$X_1, \cdots, X_n$ 是样本,求 $\lambda$ 的极大似然估计。

解:

$$
P\{X=k\}=\frac{\lambda^{k} e^{-\lambda}}{k !}, \quad k=0,1,2, \cdots
$$

$\lambda$ 的似然函数为 $L(\lambda) = \prod_{k=1}^{n} \dfrac{\lambda^{x_i} e^{-\lambda}}{x_i !}$

$\ln L(\lambda) = - \ln\prod x_i! + (x_1+x_2 + \cdots + x_n)\ln \lambda - n\lambda$

两边对 $\lambda$ 求导:

$$
\dfrac{d(\ln L(\lambda))}{d\lambda} = 0 + \dfrac{x_1 + \cdots + x_n}{\lambda} - n
$$

令为 0,可以发现 $\lambda = E(X)$

【例子】上一题的总体改成 $X\sim \exp (\lambda)$。同求。

解:分布函数为:

$$
f(x:\lambda) = \left\{\begin{align}
\lambda e^{-\lambda x}\quad x> 0\\
0 \quad x \leqslant 0
\end{align}\right.
$$

$\lambda$ 的似然函数为:

$$
L(\lambda) = \prod_{i=1}^n \lambda e^{-\lambda x_i}
$$

取对数,得:

$$
\ln L(\lambda) = n\ln(\lambda) - (x_1 + x_2 + \cdots +x_n) \lambda
$$

$\lambda$ 求导并令为 0,得

$$
\dfrac{n}{\lambda} = (x_1 + x_2 +\cdots x_n)
$$

i.e.

$$
\lambda = \dfrac{1}{E(X)}
$$

【例子】正态分布的。自己试试吧。

我懒 _(:3 」∠)_

【例子】X 是 $[\theta_1 , \theta_2]$ 的均匀分布,$X_1, \cdots, X_n$ 是样本,求 $\theta_1 , \theta_2$ 的极大似然估计。

我简写为 $a,b$ 了。

先写密度函数:

$$
f(x)=\left\{\begin{array}{ll}
\frac{1}{b-a}, & a< x < b \\ 0, & \text { 其他 } \end{array}\right. $$

似然函数

$L(a,b) = \prod (b - a)^{-1} = (b-a)^{-n}$

取对数

$$
\ln L =-\ln(b-a)
$$

求偏导(宋浩老师错误方法示范)

$$
\begin{align}
\part \ln L / \part a &= \dfrac{1}{b-a}\\
\part \ln L / \part b &= -\dfrac{1}{b-a}
\end{align}
$$

令为 0,可以发现,搞不出来。

观察 $L$ 函数,可以发现 $|b-a|$ 越小,函数值越大,同时要涵盖样本值。

所以:$a = \min\{X_i\}, b = \max\{X_i\}$

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注