统计基础

统计学基础包括了总体、抽样和取样、随机样本和观测值等概念。

统计量主要包括均值、方差和修正的方差，以及百分比。均值满足大数定理和中心极限定理。方差和修正的方差的期望分别等于σ²和n-1/nσ²。百分比作为二项分布，可以趋于正态分布。对于高斯随机样本，均值满足正态分布，方差满足卡方分布，均值和方差相互独立，均值和方差与T分布有关。

统计基础

基本概念

总体(population) 和个体

抽样和取样(Echantillonnage)

随机样本(échantillon aléatoire): 独立(indépendant), 同分布(de même loi de X), 称X为variable parente

随机样本是由n个随机变量组成, 这些变量一旦确定, 则变为随机样本的观测值(statistique d’un échantillon)

统计量

均值

定义

均值本身是随机变量

$\begin{aligned} &\overline{X} \triangleq \frac{1}{n}\sum_{i = 1}^nX_i\\ &E(\overline{X}) = E(X) = m\\ &V(\overline{X}) = \frac{V(X)}{n} = \frac{\sigma^2}{n}\end{aligned}$

大数定理

均值满足条件：

$\begin{aligned} &E(\overline{X}) = m\\ &V(\overline{X}) \xrightarrow[n\rightarrow \infty]{} 0\end{aligned}$

因此有：

$\begin{aligned} \overline{X}\xrightarrow[n\rightarrow \infty]{P}m\end{aligned}$

中心极限定理

均值满足独立同分布, 故依分布收敛到一个正态分布：

$\begin{aligned} \frac{\overline{X}-m}{\sigma\sqrt{n}} \xrightarrow[n\rightarrow \infty]{loi} LG(0, 1)\end{aligned}$

方差 S2

此方差是一个统计量, 非Variance

定义

$\begin{aligned} S^2 &\triangleq \frac{1}{n}\sum^n_{i = 1}(X_i-\overline{X})^2\\ & = \frac{1}{n}(\sum^n_{i = 1}X_i^2)-\overline{X}^2\\ & = \frac{1}{n}\sum^n_{i = 1}(X_i-m)^2-(\overline{X}-m)^2\end{aligned}$

期望

$\begin{aligned} E(S^2) &= \frac{n-1}{n}\sigma^2\\ E(S^2) &= \frac{1}{n}\sum_{i = 1}^nE(X_i-m)^2-E(\overline{X}-m)^2\\ & = \frac{1}{n}\sum_{i = 1}^nV(X_i)-V(\overline{X})\\ & = \frac{1}{n}n\sigma^2 - \frac{\sigma^2}{n}\\ & = \frac{n-1}{n}\sigma^2\end{aligned}$

修正的方差 $S^{*2}$

我们希望它的期望能够像均值和期望的关系一样, 与Variance相等, 因此对方差进行了修正, 修正后期望等于σ2

$\begin{aligned} S^{*2} &\triangleq \frac{1}{n-1}\sum^n_{i = 1}(X_i-\overline{X})^2\end{aligned}$

在本课程中, 除非表明S * 2, 均使用为修正的方差；但诸多中文教材使用修正的方差, 注意差别。

在卡西欧中, $\mathbf{\sigma^2x\text{\textbf{和}}S^2x}$ 分别代表方差和修正的方差

百分比 Loi d’un pourcentage F

定义

假设X是某个实验中成功的次数：$X \thicksim B(n, p)$

则百分比：

$\begin{aligned} & F = B(n, p)/n\\ & E(F) = p\\ & V(F) = \frac{p(1-p)}{n}\end{aligned}$

性质

F作为二项分布, 本身可以趋于正态分布
考虑二项分布是伯努利分布的和, 这些伯努利分布独立同分布, 故根据中心极限定理, F趋于正态分布

$F \rightarrow LG(p, \sqrt{\frac{p(1-p)}{n}})$

高斯随机样本

对于随机样本$(X1, …, Xn)$, 若$X_i \thicksim LG(m, \sigma)$则称此样本为高斯随机样本

高斯随机向量是由多个高斯随机变量组成的向量，其中每个随机变量都符合高斯分布，也被称为正态分布。高斯随机向量的每个元素都是独立的，也就是说，一个元素的值不会影响到其他元素的值。在多元统计分析中，高斯随机向量是一个重要的概念，它有许多重要的性质和应用。

二维高斯随机向量

二维方差-协方差矩阵

二维高斯随机向量的方差-协方差矩阵是一个2x2矩阵，表示两个随机变量的方差和协方差。在这个矩阵中，对角线上的元素表示每个随机变量的方差，非对角线上的元素表示两个随机变量之间的协方差。

$\Sigma = \left|\begin{array}{ccc} \sigma_1^2 & \rho\cdot \sigma_1 \sigma_2 \\ \rho \cdot \sigma_1 \sigma_2 & \sigma_2^2 \end{array}\right|$

密度函数

$f(x_1,x_2) = \frac{1}{2 \pi \sigma_1 \sigma_2 \sqrt{1-\rho^2}} \exp \left\{-\frac{1}{2\left(1-\rho^2\right)}\left[\left(\frac{x_1-m_1}{\sigma_1}\right)^2-2 \rho \frac{\left(x_1-m_1\right)\left(x_2-m_2\right)}{\sigma_1 \sigma_2}+\left(\frac{x_2-m_2}{\sigma_2}\right)^2\right]\right\}$

密度函数-中心分布

$f\left(x_1, x_2\right)=\frac{1}{\sigma_1 \sqrt{2 \pi}} \exp \left[-\left(\frac{x_1^2}{2 \sigma_1^2}\right)\right] \times \frac{1}{\sigma_2 \sqrt{2 \pi} \sqrt{1-\rho^2}} \exp \left[-\frac{\left(x_2-\rho \frac{\sigma_2}{\sigma_1} x_1\right)^2}{2 \sigma_2^2\left(1-\rho^2\right)}\right]$

性质

已知$X_1$的$X_2$分布

$P(X_2|X_1) = L G\left(\rho \frac{\sigma_2}{\sigma_1} X_1, \sigma_2 \sqrt{1-\rho^2}\right)$

已知$X_1$的$X_2$期望

$E\left(X_2 / X_1\right)=\rho \frac{\sigma_2}{\sigma_1} X_1$

期望和方差

均值与正态分布

高斯随机样本中, 均值满足正态分布：$\overline{X} \thicksim LG(m, \frac{\sigma}{\sqrt{n}})$

方差与卡方分布

$\frac{nS^2}{\sigma^2} \thicksim \chi^2_{n-1}$

证明：

$\begin{aligned} E(S^2) &= \frac{1}{n}\sum_{i = 1}^nE(X_i-m)^2-E(\overline{X}-m)^2\\ \frac{nS^2}{\sigma^2}&=\sum\frac{X_i-m}{\sigma}^2-\frac{\overline{X}-m}{\sigma/\sqrt{n}}\\ &\thicksim\sum LG(0, 1)^2-LG(0, 1)^2\\ &\thicksim\chi^2_n-\chi^2_1\\ &\thicksim\chi^2_{n-1}\end{aligned}$

对于修正的方差：

$\frac{(n-1)S^{*2}}{\sigma^2} \thicksim \chi^2_{n-1}$

均值和方差相互独立

用处不多, 在此不再证明

均值和方差与T分布

$\frac{\overline{X}-m}{S/\sqrt{n-1}} \thicksim T(n-1)$

证明：

$\begin{aligned} &\frac{\overline{X}-m}{\sigma/\sqrt{n}}\thicksim LG(0, 1)\\ &\frac{nS^2}{\sigma^2}\thicksim\chi^2_{n-1}\\ &\frac{\frac{\overline{X}-m}{\sigma/\sqrt{n}}}{\sqrt{(\frac{nS^2}{\sigma^2}\thicksim\chi^2_{n-1})/(n-1)}} \thicksim T(n-1)\end{aligned}$