显著性差异- 维基百科，自由的百科全书

統計學的假說檢定中，顯著性差異（或统计学意义，英語：statistical significance）是對數據差異性的評價，當某次實驗的结果在虛無假說下不大可能发生时，就認為該結果 ... 顯著性差異 統計學名詞 語言 監視 編輯 統計學的假說檢定中[1][2]，顯著性差異（或統計學意義，英語：statisticalsignificance）是對數據差異性的評價，當某次實驗的結果在虛無假說下不大可能發生時，就認為該結果具有顯著性差異。

更準確而言，譬如某項研究設定了一個數值α（顯著水準），表示虛無假說本來正確但卻被拒絕的出錯機率[3]，然後用p值表示虛無假說為真時得到某結果或比這個結果更極端的情況的機率[4]。

當p⩽α時，就可以認為結果具有統計學意義，或數據之間具有了顯著性差異。

[5][6][7][8][9][10][11]顯著水準應當在開始數據收集前就設定，通常習慣設定為5%[12]或更低，因研究的具體學科領域而異。

[13]在任何涉及到從母體中抽取樣本的實驗或觀察性研究中，觀察到的結果都有可能只不過是由抽樣誤差（英語：samplingerror）產生的。

[14][15]但是，如果一個觀察結果的p值小於（或等於）顯著水準α，研究者就可以得出「該結果能反映母體的特徵」的結論[1]，並拒絕虛無假說[16]。

顯著性差異的原因可能是： 參與比對的數據是來自不同實驗對象，如比－西一般能力測驗中，大學學歷被試組的成績與小學學歷被試組之間，會存在顯著性差異； 也可能是因為實驗處理對實驗對象造成了改變，因而前測、後測的數據會有顯著性差異。

例如，記憶術研究發現，被試者學習某記憶法前的成績，和學習記憶法後的記憶成績會有顯著性差異，則這一差異很可能來自於這種記憶法對被試記憶能力的改變。

目次 1歷史 1.1相關概念 2顯著水準 3局限性 3.1效應值 3.2再現性 4參見 5參考文獻 歷史編輯 顯著性差異的提出可追溯到18世紀，約翰·阿巴思諾特（英語：JohnArbuthnot）和皮埃爾-西蒙·拉普拉斯作出了男女出生機率均等的虛無假說，然後計算了人類出生時性別比的p值。

[17][18][19][20][21][22][23]1925年，羅納德·費雪在《研究工作者的統計方法（英語：StatisticalMethodsforResearchWorkers）》一書中提出了統計假說檢定的思想，稱之為「顯著性檢定」（testsofsignificance）。

[24][25][26]費雪建議將1/20（=0.05）的機率作為拒絕虛無假說的一個截斷值。

[27]在1933年的一篇論文中，耶日·內曼和埃貢·皮爾森把這個截斷值稱為「顯著水準」，並賦予它符號α。

他們建議，α值應當在收集任何數據收集之前提前設定。

[27][28]費雪最初將顯著水準定為0.05，但他並不打算將這一截斷值定死。

在他1956年出版的《統計方法與科學推斷》一書中，他建議根據具體情況確定顯著水準。

[27] 相關概念編輯 顯著水準α是p值的閾值，當p⩽α時就拒絕虛無假說（即使虛無假說仍有可能是正確的）。

這意味著α也是在虛無假說正確的情況下錯誤地將其否定的機率[3]，稱為偽陽性或型一錯誤、棄真錯誤、α錯誤。

而有些研究者偏好使用信心水準γ=(1−α)。

它是虛無假說成立時不拒絕虛無假說的機率。

[29][30]信心水準和信賴區間是Neyman於1937年提出的。

[31] 顯著水準編輯  在雙尾檢定（英語：one-andtwo-tailedtests）中，顯著水準α=0.05下的拒絕域分處在抽樣分布（英語：samplingdistribution）兩端的尾部，共占曲線下方面積的5%。

顯著水準（significancelevel，符號：α）常用於假說檢定中檢定假設和實驗結果是否一致，它代表在虛無假說（記作 H 0 {\displaystyleH_{0}}  ）為真時，錯誤地拒絕 H 0 {\displaystyleH_{0}}  的機率，即發生型一錯誤（棄真錯誤、α錯誤）的機率。

比如，我們從兩個母體中分別抽取了兩組樣本數據A和B，這兩組數據在顯著水準α=0.05下具備顯著性差異。

這是說，兩組數據所代表的母體具備顯著性差異的可能性為95%；但它們代表的母體仍有5%的可能性是沒有顯著性差異的，這5%是由於抽樣誤差（英語：samplingerror）造成的。

也可表述為： 如果拒絕「兩組數據一致（二者不具備顯著性差異）」的虛無假說（接受「兩組數據不一致」的對立假說），此時有5%的可能性犯型一錯誤； 如果A=兩組數據不具備顯著差異；B=實際數據具有顯著差異，則P(A|B)=0.05，即統計100次，預期是B情況，但可能出現5次的A情況。

當假說檢定所測得之數據之間具有顯著性差異，實驗的虛無假說就可被推翻，也就是拒絕 H 0 {\displaystyleH_{0}}  ，接受對立假說（alternativehypothesis，記作 H 1 {\displaystyleH_{1}}  或 H a {\displaystyleH_{a}}  ）；反之，若數據之間不具備顯著性差異，則拒絕對立假說，不拒絕虛無假說。

通常情況下，實驗結果需要證明達到顯著水準α=0.05或0.01，才可以說數據之間具備了顯著性差異，否則就如上所述，容易作出錯誤的推論。

在作結論時，應確實描述方向性（例如顯著大於或顯著小於）。

數學表述為：引入p值作為檢定樣本（teststatistic）觀察值的最低顯著水準。

在α=0.01或α=0.05的條件下，若虛無假說成立的機率（p）小於α，則表示虛無假說成立的情況下得到這種觀測結果的機率，比1%或5%還低，在該顯著水準下，我們可拒絕該虛無假說。

P(X=x)0.05):significancethresholdsandthecrisisofunreplicableresearch.PeerJ.2017,5:e3544.PMC 5502092  .PMID 28698825.doi:10.7717/peerj.3544.  ^35.035.1Hojat,Mohammadreza;Xu,Gang.AVisitor'sGuidetoEffectSizes.AdvancesinHealthSciencesEducation.2004,9(3):241–9.PMID 15316274.S2CID 8045624.doi:10.1023/B:AHSE.0000038173.00909.f6.  ^Hooper,Peter.WhatisP-value?(PDF).UniversityofAlberta,DepartmentofMathematicalandStatisticalSciences.[November10,2019].（原始內容(PDF)存檔於2020-03-31）.  ^Pedhazur,ElazarJ.;Schmelkin,LioraP.Measurement,Design,andAnalysis:AnIntegratedApproachStudent.NewYork,NY:PsychologyPress.1991:180–210.ISBN 978-0-805-81063-9.  ^Stahel,Werner.StatisticalIssueinReproducibility.Principles,Problems,Practices,andProspectsReproducibility:Principles,Problems,Practices,andProspects.2016:87–114.ISBN 9781118864975.doi:10.1002/9781118865064.ch5.  取自「https://zh.wikipedia.org/w/index.php?title=显著性差异&oldid=73117320」