統(tǒng)計學(xué)基礎(chǔ)

好易學(xué) 2019-02-13

展開全文

假設(shè)檢驗

1、假設(shè)檢驗的由來

我們先看一個例子：

那么如何檢驗這位女士的說法呢？FISHER進(jìn)行了研究，從而提出了假設(shè)檢驗的思想。

比如：

正常情況下我們?nèi)ゲ孪鹊共柽€是先倒牛奶的話，概率應(yīng)該是1/2，

1.總共檢驗了兩杯，全部猜對的概率是：0.5??0.5=0.25，雖然概率很低，但是也算正常；

2.繼續(xù)猜，又猜了兩次，也全部猜對了幾率是 $0.5^{4}$ =0.0625，這個概率明顯是非常低了，有點不正常了，但是會不會還是運(yùn)氣呢？

3.我們繼續(xù)猜，加大樣本，如果連續(xù)猜對10杯，那么我認(rèn)為這位女士確實有特殊的能力。

雖然我們上面說猜對10杯來確認(rèn)這位女士有特殊能力，這只是我們的臆測，我們假設(shè)一個x，當(dāng)這位女士能夠猜對x杯才認(rèn)為這位女士確實有特殊的能力，其實對于我們最難的是來確認(rèn)著x。

下面我們就來看一下怎么樣來確認(rèn)這個x。

2、什么是假設(shè)檢驗

假設(shè)檢驗(Hypothesis Testing)：是推斷統(tǒng)計的最后一步，是依據(jù)一定的假設(shè)條件由樣本推斷總體的一種方法。

你提出你的假設(shè)：說你有特殊的能力，可以品出先倒茶還是牛奶；

我提出要檢驗?zāi)愕募僭O(shè)：品十(x)杯，看實驗結(jié)果是不是和你說的假設(shè)相符

假設(shè)檢驗的基本思想是小概率反證法思想，小概率思想認(rèn)為小概率事件在一次試驗中基本上不可能發(fā)生，在這個方法下，我們首先對總體作出一個假設(shè)，這個假設(shè)大概率會成立，如果在一次試驗中，試驗結(jié)果和原假設(shè)相背離，也就是小概率事件竟然發(fā)生了，那我們就有理由懷疑原假設(shè)的真實性，從而拒絕這一假設(shè)。

假設(shè)檢驗其實就是假設(shè)和檢驗兩步，先提出假設(shè)，之后再來驗證假設(shè)是不是合理的。

3、P值

為了完成假設(shè)檢驗，需要先定義一個概念：P值。

根據(jù)上面的描述，這里假設(shè)檢驗的思路就是：

假設(shè)：這位女士不能準(zhǔn)確的猜出先倒茶還是牛奶（沒有確鑿證據(jù)一般不推翻的假設(shè),正常情況下我們都不能猜出先倒茶還是牛奶，所以我們假設(shè)這位女士不能準(zhǔn)確的猜出先倒茶還是牛奶）

檢驗：認(rèn)為假設(shè)是成立的，然后猜十次，看結(jié)果與假設(shè)是否相符

猜奶茶的實驗應(yīng)該符合二項分布（這就不解釋了），也就是：

X~(n, $\mu$ ) 其中，n代表猜的次數(shù)，u代表猜對的概率。

在我們認(rèn)為猜之前沒有泄密(也就是確實是憑自己的嗅覺去猜)的前提下，猜10次應(yīng)該符合以下分布：

X~(10,0.5)

下圖表示的就是，假如猜是公平的情況下的分布圖：

P= $C_{10}^{8}$ * ( $0.5^{8}$ )* ( $0.5^{2}$ ) =0.0439

也就是說猜10次能猜對8次的概率是0.0439

為了方便大家計算，附上python代碼：

import operator
from functools import reduce
def c(n,k):
    return  reduce(operator.mul, range(n - k + 1, n + 1)) /reduce(operator.mul, range(1, k +1))
def fac(n):
    return reduce(operator.mul, range(1,n+1))
print (c(10,8))
print (fac(5))

把八次猜對概率，與更極端的九次猜對、十次猜對的概率加起來：

為什么要把更極端的情況加起來？

根據(jù)猜奶茶這個例子，可能你會覺得，我知道八次猜對出現(xiàn)不正常就行了，干嘛要把九次、十次加起來？

比如我們要猜1000次用二項分布來計算很麻煩，根據(jù)中心極限定理，我們知道，可以用正態(tài)分布來近似：

但是，對于正態(tài)分布，我沒有辦法算單點的概率（連續(xù)分布單點概率為0），我只能取一個區(qū)間來算極限，所以就取530、以及更極端的點組成的區(qū)間：

（我上面只取了單側(cè)P值，說明下：取單側(cè)還是雙側(cè)，取決于你的應(yīng)用，什么叫做更極端的點，也取決于你的應(yīng)用）

3.1、單側(cè)檢驗

當(dāng)關(guān)鍵詞有不得少于/低于的時候用左側(cè)，比如燈泡的使用壽命不得少于/低于700小時時

當(dāng)關(guān)鍵詞有不得多于/高于的時候用右側(cè)，比如次品率不得多于/高于5%時

3.2 雙側(cè)檢驗

單側(cè)檢驗指按分布的一側(cè)計算顯著性水平概率的檢驗。用于檢驗大于、小于、高于、低于、優(yōu)于、劣于等有確定性大小關(guān)系的假設(shè)檢驗問題。這類問題的確定是有一定的理論依據(jù)的。假設(shè)檢驗寫作：μ1<μ2或μ1>μ2。

雙側(cè)檢驗指按分布兩端計算顯著性水平概率的檢驗，應(yīng)用于理論上不能確定兩個總體一個一定比另一個大或小的假設(shè)檢驗。一般假設(shè)檢驗寫作H1：μ1≠μ2。

4、顯著水平

總共猜10次，那么是出現(xiàn)7次猜對，可以認(rèn)為有特殊能力，還是9次猜對之后我才能確認(rèn)有特殊能力，這是一個較為主觀的標(biāo)準(zhǔn)。

我們一般認(rèn)為

P-value<=0.05

就可以認(rèn)為假設(shè)是不正確的。

0.05這個標(biāo)準(zhǔn)就是顯著水平，當(dāng)然選擇多少作為顯著水平也是主觀的。

比如，我們猜奶茶的例子，如果取單側(cè)P值，那么根據(jù)我們的計算，如果10次猜對9次：

P-value=P(9<=X<=10)=0.01<=0.05

我們可以認(rèn)為剛開始的假設(shè)(這位女士不能準(zhǔn)確的猜出先倒茶還是牛奶)錯的很“顯著”，也就是是有特殊能力的。

5、假設(shè)檢驗步驟

我們回顧下我們剛才所說的，總結(jié)下：

這里簡單說下檢驗統(tǒng)計量

檢驗統(tǒng)計量是用于假設(shè)檢驗計算的統(tǒng)計量。在零假設(shè)情況下，這項統(tǒng)計量服從一個給定的概率分布，而這在另一種假設(shè)下則不然。從而若檢驗統(tǒng)計量的值落在上述分布的臨界值之外，則可認(rèn)為前述零假設(shè)未必正確。統(tǒng)計學(xué)中，用于檢驗假設(shè)量是否正確的量。常用的檢驗統(tǒng)計量有t統(tǒng)計量，Z統(tǒng)計量等。

6、實例

我們這里舉2個例子：

首先我們先引入一個檢驗統(tǒng)計量分布的選擇規(guī)則

例1:

某機(jī)床廠加工一種零件，根據(jù)經(jīng)驗知道，該廠加工零件的橢圓度近似服從正態(tài)分布，其總體均值為μ=0.081mm，總體標(biāo)準(zhǔn)差為σ= 0.025 。今換一種新機(jī)床進(jìn)行加工，抽取n=200個零件進(jìn)行檢驗，得到的橢圓度為0.076mm。試問新機(jī)床加工零件的橢圓度的均值與以前有無顯著差異？（α＝0.05）

我們知道總體均值和總體方差，根據(jù)上圖的規(guī)則可以看出我們可以用Z統(tǒng)計量：