估计

文档讨论了估计参数的方法，包括区间估计的基本计算方法和步骤，以及常用的置信区间求法。这些方法适用于单一正态分布和双正态分布，包括已知和未知方差的情况。对于非正态分布，可以通过中心极限定理近似为正态分布进行估计。此外，还讨论了比率的置信空间的估计方法。

点估计和估计量的评价 Estimation

知道分布, 使用统计量估计某些参数。点估计使用具体的数值估计。

可以使用均值估计期望, S2估计方差, 频率估计概率

估计量 Estimateur

使用统计量T, 确定目标的某一个参数Θ, 这里, T时Θ的估计量。

估计量不是唯一的, 比如$S^2$和$S^{  2}*$都可以用来估计方差。

目标是找到(收敛) 无偏, 最小方差估计, 具体定义解释如下

收敛性

估计量依概率收敛到目标参数

$$\lim _{n \rightarrow \infty} P(|T-\theta|>\varepsilon)=0$$

无偏估计 sans biais

偏的定义

• 偏：$E(T) − θ$
• 若 $E(T) − θ = 0$ 称为无偏, 否则称为有偏。在有偏的情况下, 若满足 $E(T)-\theta \xrightarrow[n\rightarrow \infty]{} 0$, 则称为渐进无偏
• 均值 是无偏的估计量
• 方差 S2 是有偏的估计量, 是渐进无偏的； 修正的方差 S * 2 是无偏的估计量
• 通过线性变换可以使有偏估计量无偏

准确性 présition

准确性没有唯一标准, 一般使用均方误差(quadratique moyenne)：

$$\begin{aligned} \ \ \ \ &E((T-\theta)^2) \\ &= E((T-E(T)+E(T)-\theta)^2)\\ & = E[(T-E(T))^2]+E[(E(T)-\theta)^2]\\ &+2E[(T-E(T))(E(T)-\theta)]\\ & = V(T) + (E(T)-\theta)^2\\ & \xrightarrow{sans biais} V(T)\end{aligned}$$

似然函数 Vraisemblance

对于随机样本$(X_1, …, X_n)$, 有分布 $X \thicksim f(x, \theta)$, 对于$(X_1, …, X_n)$, 似然度定义如下:

$$\begin{aligned} &L((\underline x), \theta) = \prod \limits_{i=0}^nf(x_i, \theta)\\ &L((\underline x), \theta) = \prod \limits_{i=0}^nP(X_i = x_i)\end{aligned}$$

完全统计量 statistique complete

一个指数族分布的充分统计量时完全的(complet)

Les statistiques exhaustives des familles exponentielles sont complètes.

充分统计量 statistique exhaustive

充分统计量 T 应该包含统计量T̃的全部信息, 如果T使充分统计量, 则其密度函数g(t, θ)满足：

$$\begin{aligned} L((\underline x), \theta) = g(t, \theta) * h(x)\end{aligned}$$

也就是$L((\underline x), \theta)/g(t, \theta)$ 与 θ 无关:

$$L((\underline x), \theta)/g(t, \theta) \ntriangleright \theta$$

充分统计量的单射(injective)还是充分统计量

Exemple 1

对于泊松分布P(λ):

$$\begin{aligned} P(X_i = x_i) = \frac{e^{-\lambda} \lambda^{x_i}}{x_i!}\end{aligned}$$

其似然度:

$$\begin{aligned} L((\underline x), \lambda) &= \prod_{i = 1}^nP(X_i = x_i)\\ & = e^{-n\lambda}\frac{\lambda^{\sum_{i = 1}^{n}x_i}}{\prod_{i = 1}^nx_i!}\end{aligned}$$

考虑$T$是一个$xi$的函数, 且考虑质量函数计算难度和与自由度$\lambda$的关系, 选择 $T = \sum{i = 1}^{n}X_i$ 作为统计量, 有:

$$\begin{aligned} & T \thicksim P(n\lambda)\\ & P(T = t, n\lambda) = \frac{e^{-n\lambda} (n\lambda)^{t}}{t!} \end{aligned}$$

• T是泊松分布的和

将似然度里的相应部分替换为统计量T = t:有:

$$L((\underline x), \lambda)= e^{-n\lambda}\frac{\lambda^{t}}{\prod_{i = 1}^nx_i!}$$ $$\begin{aligned} & \frac{L((\underline x), \lambda)}{P(T = t, \lambda)} = \frac{t!}{n^t\prod_{i = 1}^nx_i!}\end{aligned}$$

与λ无关, 说明统计量T包含了原分布中的所有信息, 是充分统计量

Exemple 2

$X \thicksim LG(m, \sigma)$, m已知, γ未知

其密度函数:

$$f(x) = \frac{1}{\sigma \sqrt{2\pi}}exp(-\frac{1}{2}(\frac{x-m}{\sigma})^2)$$

其似然:

$$\begin{aligned} L((\underline x), \sigma) = \frac{1}{\sigma^n \sqrt{2\pi}^n}exp(-\frac{1}{2}\sum_{i = 1}^n(\frac{x_i-m}{\sigma})^2)\end{aligned}$$

因此选择统计量:

$T = \sum_{i = 1}^n({x_i-m})^2$

设$Y = T/σ^2$, 有:

$$\begin{aligned} Y &= \sum_{i = 1}^n(\frac{x_i-m}{\sigma})^2\\ & \thicksim \chi^2_n\end{aligned}$$

得到T的密度函数:

$$\begin{aligned} &T = \sigma^2Y\\ &g(t) = h(\frac{t}{\sigma^2})\frac{1}{\sigma^2}\\ &g(t, \sigma) = \frac{1}{2^{n/2}\Gamma(n/2)}(\frac{t}{\sigma^2})^2e^{-\frac{t}{2\sigma^2}}\frac{1}{\sigma^2}\end{aligned}$$

随机变量函数的密度函数求法

$$\begin{aligned} P_Y(y) = P_x(x)\frac{dx}{dy}\end{aligned}$$

无偏最小方差估计原理 meilleur estimateur

Théorème 1: 唯一性原理

无偏最小方差有唯一性

Théorème 2: Rao-Blackwell定理

对于$Θ$ ，$T$ 是一个无偏估计, $U$是充分统计量, 则：

$T^ = E(T|U)*$

也是一个无偏估计, 且 $V(T^) < V(T)*$

证明：

$$\begin{aligned} &E(T*) = E(E(T|U)) = E(T) = \theta\\ &V(T) = E(V(T|u))+V(E(T|U)) \ge V(T*)\end{aligned}$$

当$E(V(T|u)) = 0$时, 有$V(T) = V(T ^ )$, 此时有$T = f(u)*$

Théorème 3

如果存在充分统计量$u$, 则最小方差的无偏差估计$T$仅取决于$u$

Théorème 4

对于$Θ$, 如果$U$是完全充分统计量, $T^**$是一个依赖于$U$的无偏估计量, 则$T^**$是唯一的无偏最小方差估计

无偏最小方差估计找寻方法

• 找到充分统计量U:
  • 找到似然函数
  • 找到T
  • 计算g(t, θ)
  • 计算$\frac{L(\underline(x), \theta)}{g(t, \theta)}$

1. 使用Les statistiques exhaustives des familles exponentielles sont complètes说明充分统计量是完全的的

2. 找到$T^ = f(U)$, 使得$T^**$无偏

最大似然函数法

找到$\widehat{\Theta}$, 使得:

$$\begin{aligned} L((\underline x), \widehat{\Theta}) = max(L((\underline x), \Theta))\end{aligned}$$

具体的, 找到$\widehat{\Theta}$, 使得:

$$\begin{aligned} \frac{dlnL((\underline x), \Theta)}{d\Theta} = 0\end{aligned}$$

如果解出的$\widehat{\Theta}$是无偏的, 则是无偏最小方差估计

Exemple

对于正态分布$X \thicksim LG(m, \gamma)$, $m$未知, $γ$已知

其密度函数:

$$f(x) = \frac{1}{\sigma \sqrt{2\pi}}exp(-\frac{1}{2}(\frac{x-m}{\sigma})^2)$$

其似然:

$$\begin{aligned} L((\underline x), \sigma) = \frac{1}{\sigma^n \sqrt{2\pi}^n}exp(-\frac{1}{2}\sum_{i = 1}^n(\frac{x_i-m}{\sigma})^2)\end{aligned}$$

对数后对m求导:

$$\begin{aligned} \frac{\partial lnL}{\partial m} = \frac{n}{\sigma^2}(\frac{1}{n}\sum x_i-m) = 0\end{aligned}$$

解得:

$$\begin{aligned} &\widehat m = \overline{X}\\ &E(\widehat m) = E(\overline{X}) = m\end{aligned}$$

验证无偏, 故得到最佳估计

区间估计和置信区间评价方法 Estimation par intervalles

区间估计是一种统计推断的方法，它提供了一个可能包含未知参数的区间，而不是提供一个单一的点估计。这个区间被称为置信区间 I，并附带一个置信水平 $\alpha$，用来表达对该区间包含未知参数的信心程度。

基本概念

• 区间上下界:$\underline{\Theta}, \ \overline{\Theta}$
• 置信区间:$[\underline{\Theta}, \ \overline{\Theta}]$
• 风险: $α$
• 置信度 confiance: $1 − α$
• $p(\Theta \in I)=1-\alpha$

区间基本计算方法

$$\begin{aligned} &p(T+\widetilde{t_1} \le \Theta \le T+\widetilde{t_2} ) = 1-\alpha\\ &P(\widetilde{t_1} \le \Theta-T \le \widetilde{t_2} ) = 1-\alpha\end{aligned}$$ $$\begin{aligned} &P(\widetilde{t_1} \le \Theta-T \le \widetilde{t_2} ) = 1-\alpha\\ & = P(\Theta-Y \le \widetilde{t_2})-P(\Theta-Y \le \widetilde{t_1})\\ & = 1-\alpha_1-\alpha_2\\ & = 1-\alpha\end{aligned}$$

此时不同的$α_1$, $α_2$的取法不同,最终的置信区间也不同

区间估计步骤

确定需要估计的参数

明确已知, 未知的参数

确定参数对应的$α$

给出点估计T

给出点估计T, 不需要做极大似然估计, 充分性完备性之类的验证, 只要给出一个还可以的估计即可

比如求和或者均值

构造参数的分布

对于估计$θ̂ → θ,$

分布函数$u(θ, θ̂)$

通过分布求出$t_1,t_2$

常用的置信区间求法-单一正态分布

正态分布期望的估计, 方差已知

对于正态分布$LG(m, σ)$已知,$α$是$risque$

取均值$\overline{X} \thicksim LG(m, \ \frac{\sigma}{\sqrt{n}})$

构造分布函数u:

$$\begin{aligned} u = \frac{\overline{X}-m}{\sigma/\sqrt{n}}\end{aligned}\thicksim U$$

其中,包含未知参数$m$, 估计量$\overline{X}$, 不包含其他未知量

研究区间, 由于正态分布对称, 取:

$$\begin{aligned} &P(-a \le u \le a) = 1-\alpha\\ &\Phi(a)-\Phi(-a) = 1-\alpha\\ &\Phi(a) = 1-\frac{\alpha}{2}\end{aligned}$$

查表可得结果$\mathbf{a \sim U_{1-\frac{\alpha}{2}}}$

$$\begin{aligned} &P(-a\cdot(\sigma/\sqrt{n})+\overline{X} \le m \le a\cdot(\sigma/\sqrt{n})+\overline{X}) = 1-\alpha\end{aligned}$$

正态分布期望的估计, 方差未知

分布函数，参考统计基础的相应章节:

$$\begin{aligned} &\mathbf{u = \frac{\overline{X}-m}{S/\sqrt{n-1}}\thicksim t(n-1)}\\ &P(-a \le u \le a) = 1-\alpha\\ &P(|u| \le a) = 1-\alpha\\ &P(|u| > a) = \alpha\end{aligned}$$

根据t分布表, 可查$P(|u| > a)$对应的$a$的值,得到结果:

$$\begin{aligned} &\mathbf{a = t_\alpha^{n-1}}\\ &P(-a(\frac{S}{\sqrt{n-1}})+\overline{X} \le m \le a(\frac{S}{\sqrt{n-1}})+\overline{X}) = 1-\alpha\end{aligned}$$

正态分布方差的估计, m已知

分布函数:

$$\begin{aligned} &T = \frac{1}{n}\sum_{i = 1}^n(X_i-m)^2 \rightarrow \sigma^2\\ &u = \frac{nT}{\sigma^2} \thicksim \chi^2(n)\end{aligned}$$

卡方分布不是对称分布:

$$\begin{aligned} &P(a \le u \le b) = 1-\alpha\\ &\left\{ \begin{aligned} &P(u \le b) = 1-\frac{\alpha}{2}\\ &P(u \le a) = \frac{\alpha}{2} \end{aligned} \right.\end{aligned}$$

由于卡方分布给出的是大于的概率:

$$\begin{aligned} &\left\{ \begin{aligned} &P(u > b) = \frac{\alpha}{2}\\ &P(u > a) = 1-\frac{\alpha}{2} \end{aligned} \right.\\ \end{aligned}$$

查表得到:

$$\begin{aligned} &\left\{ \begin{aligned} &a = \chi^2_{1-\alpha/2}(n)\\ &b = \chi^2_{\alpha/2}(n) \end{aligned} \right.\\ &[\frac{n^T}{b},\frac{n^T}{a}]\end{aligned}$$

正态分布方差的估计, m未知：使用S2估计

分布函数:

$$\begin{aligned} u = \frac{nS^2}{\sigma^2} \thicksim \chi^2(n-1)\end{aligned}$$

除了卡方分布阶数, 其他都相同:

$$\begin{aligned} &\left\{ \begin{aligned} &a = \chi^2_{1-\alpha/2}(n-1)\\ &b = \chi^2_{\alpha/2}(n-1) \end{aligned} \right.\\ &[\frac{nS^2}{b},\frac{nS^2}{a}]\end{aligned}$$

正态分布方差的估计, m未知：使用S * 2估计:

分布函数:

$$\begin{aligned} u = \frac{(n-1)S^2}{\sigma^2} \thicksim \chi^2(n-1)\end{aligned}$$ $$\begin{aligned} &\left\{ \begin{aligned} &a = \chi^2_{1-\alpha/2}(n-1)\\ &b = \chi^2_{\alpha/2}(n-1) \end{aligned} \right.\\ & [\frac{(n-1)S^{*2}}{b},\frac{(n-1)S^{*2}}{a}]\end{aligned}$$

非正态分布

通过中心极限定理, 期望的分布可以近似为正态分布, 因此期望的估计的结果还可以使用, 但两个方差的结果不能使用

常用的置信区间求法-双正态分布

$$X \thicksim LG(m_1,\sigma_1), Y \thicksim LG(m_2, \sigma_2)$$

估计$m = m1 − m_2, σ{1}^2 = σ_{2}^2 = σ^2$未知

使用$D = \overline{X_1}-\overline{X_2}$来估计:

$$\begin{aligned} D = \overline{X_1}-\overline{X_2} \thicksim LG(m_1-m_2,\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}})\end{aligned}$$

比较单一正态分布的分布函数:

$$\begin{aligned} \frac{D-m}{\sigma\sqrt{\frac{1}{n^2}+\frac{1}{n^2}}} \thicksim LG(0,1)\end{aligned}$$

另一方面:

$$\begin{aligned} &\frac{nS^2}{\sigma^2} = \frac{\sum(X_i-\overline{X_1})^2}{\sigma^2}\thicksim\chi^2(n_1-1)\\ &\frac{nS^2}{\sigma^2} = \frac{\sum(X_i-\overline{X_2})^2}{\sigma^2}\thicksim\chi^2(n_2-1)\end{aligned}$$

分布函数:

$$\begin{aligned} u = &\frac{D-m}{\sqrt{\sum(X_i-\overline{X_1})^2+\sum(X_i-\overline{X_2})^2}}\times\frac{\sqrt{n_1+n_2-2}}{\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\\ \thicksim& t(n_1+n_2-2)\\ a = & t_\alpha(n_1+n_2-2)\end{aligned}$$

估计$m = m1 − m_2, σ{1}^2 = σ_{2}^2 = σ^2$已知

分布函数

$$\begin{aligned} \frac{D-m}{\sigma\sqrt{\frac{1}{n^2}+\frac{1}{n^2}}} \thicksim LG(0,1)\end{aligned}$$

查表:

$$\begin{aligned} &a = U_{1-\alpha/2}\\ &[D-a\sqrt{\frac{1}{n^2}+\frac{1}{n^2}},D+a\sqrt{\frac{1}{n^2}+\frac{1}{n^2}} ]\end{aligned}$$

$σ{1}^2/σ{2}^2$的估计

分布函数:

$$\begin{aligned} u = &\frac{S_1^{*2}/\sigma_1^2}{S_2^{*2}/\sigma_2^2} \thicksim F(n_1-1,n_2-2)\end{aligned}$$

考虑F分布不对称:

$$\begin{aligned} &\left\{ \begin{aligned} &P(u \le b) = 1-\alpha\\ &P(u \le a) = \alpha \end{aligned} \right.\end{aligned}$$

F分布的表给的是F(x) = 0.95的表:

$$\begin{aligned} &\left\{ \begin{aligned} &b = F_{1-\alpha/2}(n_1-1, n_2-1)\\ &a = \frac{1}{F_{1-\alpha/2}(n_1-1,n_2-1)} \end{aligned} \right.\end{aligned}$$

$a$是通过$F$分布的性质$F{m, n(1 − α)} = 1/F{n, m(α)}$来获得的

比率的置信空间

$f = k/n → P$, $k$是$n$次实验成功的次数, 满足二项分布$B(n,p)$

$f$应该趋近于正态分布:$f \rightarrow LG(p,\sqrt{\frac{(1-p)p}{n}})$

有:

$$\begin{aligned} &P(\frac{|P-f|}{\sqrt{\frac{p(1-p)}{n}}} \le a) = 1-\alpha\\ &a = U_{1-\frac{\alpha}{2}}\end{aligned}$$

法1

解方程

$$\begin{aligned} &(p-f)^2 \le a^2\frac{p(1-p)}{n}\end{aligned}$$

法2

把p近似为1/2

$$\begin{aligned} &[f-a\sqrt{\frac{p(1-p)}{n}},f+a\sqrt{\frac{p(1-p)}{n}}]\\ &[f-a\sqrt{\frac{0.5(1-0.5)}{n}},f+a\sqrt{\frac{0.5(1-0.5)}{n}}]\end{aligned}$$

法3

把p近似为f

$$\begin{aligned} &[f-a\sqrt{\frac{p(1-p)}{n}},f+a\sqrt{\frac{p(1-p)}{n}}]\\ &[f-a\sqrt{\frac{f(1-f)}{n}},f+a\sqrt{\frac{f(1-f)}{n}}]\end{aligned}$$