评价和检验
评价和检验
假设检验 Test d’hypothese
假设一个参数, 检验是否合理
降雨量的例子
我们讨论我们有9年的降雨量数据, 符合$LG(600,100)$, 我们检验$H0: m = 600$, 取对立假设$H1: m = 650$, 有6%的选错的风险
首先, 考虑均值满足正态分布$LG(600,100/\sqrt{9})$, 求$P(\overline{X}>K) = 5\%$, 以求出阈值$k$, 最终再验证均值是否超过阈值
我们称
- $k<655$为H0的接受域
- $k>655$的范围为H0的拒绝域
发现均值$\overline{X}<k$, 接受H0
然后,我们研究H0接收域中的风险,设均值满足$LG(650,100/\sqrt{9})$:
说明之前假设的不好
解释
在选择中, α被称为弃真错误, 我们认为H0是真的情况下, 被抛弃的概率
而β是假设H0是假的的情况下的,错误的的概率,被称为取伪错误, 参见图片7
弃真错误和取伪错误
- 风险 risque: $\beta$
- 检验功效 puissance du test:$1-\beta$
H0 | H1 | |
---|---|---|
H0 | 1 − α | β |
H1 | α | 1 − β |
一般过程
确定第一类错误 α
确定hypothese H0, H1
确定决策变量,比如均值,方差, 也可以使用似然函数来确定
计算拒绝域région cristique RC:
$P(RC|H0) = α$
根据样本计算统计值
拒绝或者接收
计算第二类错误puissance du test: $P(RC|H1) = 1 − β$
检验统计量 Neyman-Pearson
简单的假设检验 hypothèse simple
假设
似然函数的决策变量
拒绝域
※化简
- 对于复杂的比值
- 实际上等价于
- 所以接下来只用研究
充分统计量
如果(x)是充分统计量,有:
复合的假设检验 hypothèse composite
假设
拒绝域
假设
拒绝域
示例
对于$F(x)=1-\exp \left(-\frac{x}{a}\right)$,我们取如下假设:
- 通过似然函数法la méthode de Neyman-Pearson寻找决策变量la variable de décision D
- 等价于:
- 研究拒绝域
- 由于X是指数分布,可等价于r = 1的gamma分布:
- 因此,D作为gamma分布的线性组合,根据gamma分布的可加性:
- 然后跟据gamma分布和卡方分布的关系:
- 为了方便计算:
- 由此,拒绝域:
- 然后计算第二类错误:
- 然后计算样本数量,使$\beta<0.5$
- 由于卡方分布不能反差表,近似到正态分布:
- 正常计算即可
正态分布的检验
均值的检验,方差已知
单边检验
注意拒绝域符号跟m1和m0的大小有关,有:
转化为标准正太分布:
计算第二类错误:
双边检验
此时两边都是拒绝域,有:
均值的检验,方差未知
单边
有:
另一个方向
有:
双边
有:
非正态分布的均值
使用中心极限定理可以将这些结果延伸到其他分布上,但仅限于均值
方差的检验,均值已知
已知均值,方差:
单边
有
得到
另一方向
得到
双边
得到
方差的检验,均值未知
未知均值,方差:
单边
得到
比率的检验
双边
有:
使用似然函数的方法
正态分布,单边为例:
似然函数:
似然函数的比值:
分布检验 Test d’ajustement
可以使用pdf图判断,也可以根据参数之间的关系来判断
比如期望和方差相等的离散函数,即为泊松分布
图像检验 Ajustement graphique
指数函数和正态分布可以用图像检验
指数分布
对指数分布取ln
可见在指数纸上描点画图后,成直线
正态分布
假设有n个点(X1, …, Xn)都满足正态分布LG(m,σ)
有:
在Papier Gausso-arithmétique上,横坐标写每一个点的观察值的上界, 纵坐标写累积的频率, 如果连起来是一个直线, 则说明是正态分布
F= 0.5的值为期望 F = 0.1585和0.8415的位置为方差(也就是图中1的位置)
卡方检验: 离散样本的检验
假设
步骤
1. 分组
根据$P(x = x_i)$分组, 将所有实验样本分为$A_1, …, A_k$k组。比如对扔筛子, 进行100次实验, 根据点数分为6组
2. 计算概率
根据假设$H_0$, 计算$p_i$
3. 确定样本点落在每一组之间个数$N_i$
统计各组样本的个数, 并作归一化: $fi = \frac{N_i}{n}$, 或者使用$*n ⋅ p{i}$与$N_i*$对应
4. 计算D2
- D2满足卡方分布, 卡方分布的自由度$k − r − 1$中的r是要确定的参数个数, 比如对于正态分布r = 2
5. 检验分组要求$np_i$ ≥ 5
合并临近的分组, 保证$np_i ≥ 5$, 更新$L(D2) = χ{k − r − 1}^2$的k的值
6. 确定risque$α$
如果$D^2 > d_0$, 则拒绝假设.
Exemple
$X = [0-21, 1-18, 2-7, 3 -3, > = 4-1]$, 计算得到均值$0.9$, 方差$0.97$, 相近, 可能满足泊松分布, 故检验
取泊松分布$λ = 0.9$, 在这里比较接近的取一个好算的即可
查泊松分布表可得, 泊松分布
$pi = {0.4066, 0.3659, 0.1647, 0.0494, 1 − 0.4066 − 0.3659 − 0.1647 − 0.0494}$
合并$np_i < 5$的组得到:
$p_i = 0 : 0.407, 1 : 0.366, ≥ 2 : 0.227$,
得到:
$k = 3, r = 1, D2 = 0.033 < χ{0.052}(3 − 1 − 1)$
接收假设
K检验 Test de Kolmogorov
步骤
分组
在分组后按样本本身排序而非按样本数量分布排序
决策
如果$D_n < k$,则接受
在下表中,我们假设分布符合指数分布:
$x_i$ | 8 | 58 | 122 | 133 | 169 | ||
---|---|---|---|---|---|---|---|
$F(x_i)$ | 0.079 | 0.447 | 0.711 | 0.743 | 0.821 | ||
$F_i$ | 0 | 0.2 | 0.4 | 0.6 | 0.8 | ||
$ | F_i − F(x_i) | $ | 0.079 | 0.247 | 0.311 | 0.143 | 0.021 |
比较检验
是否来自同一个样本,是否存在显著差异
正态分布的检验
检验σ, m未知
已知
使用$D = \frac{S_1^2}{S_2^2}$左右判别函数
使用
如果D < k0,接受
检验m, σ未知
使用:
一般应用
比较六个小班的学习成绩分布是否没有显著差异,样本数为6
取形态:100-90分,90-80分,80-70分,70-60分,60-分
统计不同样本落在不同形态的个数
M1 | M2 | M… | Mr | total | |
---|---|---|---|---|---|
E1 | n11 | n12 | n1, … | n1r | n1. |
E2 | n21 | … | n2r | n2. | |
E… | n…, 1 | n…, r | n…, . | ||
Ek | nk1 | nk2 | nk, … | nkr | nk. |
total | n.1 | n.2 | n., … | n.r | nkr |
判别:
k:
两个样本的比较
样本:$E_1, E_2$, 假设$H0: P1 = P2 = P; H1: P1\ne P_2$
百分比的检验
卡方检验
M1 | M2 | ||
---|---|---|---|
E1 | a | b | a+b |
E2 | c | d | c+d |
a+c | b+d |