實(shí)驗(yàn)數(shù)據(jù)分析(下冊)
定 價(jià):86 元
叢書名:現(xiàn)代物理基礎(chǔ)叢書
- 作者:朱永生著
- 出版時(shí)間:2012/6/1
- ISBN:9787030349576
- 出 版 社:科學(xué)出版社
- 中圖法分類:O4-33
- 頁碼:778
- 紙張:膠版紙
- 版次:1
- 開本:16K
朱永生編寫的《實(shí)驗(yàn)數(shù)據(jù)分析(下)》介紹實(shí)驗(yàn)或測量數(shù)據(jù)分析中所涉及的概率和數(shù)理統(tǒng)計(jì)及相關(guān)的數(shù)學(xué)知識(shí),內(nèi)容包括概率論、經(jīng)典數(shù)理統(tǒng)計(jì)、貝葉斯統(tǒng)計(jì)、蒙特卡羅方法、極小化方法和去彌散方法六個(gè)部分。其中第1—5章和第6—12章分別闡述概率論和經(jīng)典數(shù)理統(tǒng)計(jì)的基本內(nèi)容,第13章則專門介紹在現(xiàn)代統(tǒng)計(jì)學(xué)中具有重要影響的貝葉斯學(xué)派的觀點(diǎn)與理論,第14章討論應(yīng)用日益廣泛的蒙特卡羅方法的基本概念,第15章介紹的極小化(或最優(yōu)化)方法是求解許多數(shù)理統(tǒng)計(jì)問題的重要工具(例如,極大似然法、最小二乘法等1,最后第16章介紹去彌散方法,處理從觀測數(shù)據(jù)和測量儀器的分辨函數(shù)反演出原分布的問題(第1—11章見本書上冊)。
更多科學(xué)出版社服務(wù),請掃碼獲取。
《實(shí)驗(yàn)數(shù)據(jù)分析(下冊)》可供實(shí)驗(yàn)物理工作者和大專院校相關(guān)專業(yè)師生、理論物理研究人員、工程技術(shù)人員以及從事自然科學(xué)和社會(huì)科學(xué)的數(shù)據(jù)測量和分析研究人員參考。
目 錄
前言
第12章 假設(shè)檢驗(yàn) 401
12.1 假設(shè)檢驗(yàn)的一般概念 401
12.1.1 原假設(shè)和備擇假設(shè) 401
12.1.2 假設(shè)檢驗(yàn)的一般方法 403
12.1.3 檢驗(yàn)的比較 406
12.1.4 分布自由檢驗(yàn) 408
12.2 參數(shù)假設(shè)檢驗(yàn) 408
12.2.1 簡單假設(shè)的奈曼皮爾遜檢驗(yàn) 408
12.2.2 復(fù)合假設(shè)的似然比檢驗(yàn) 411
12.3 正態(tài)總體的參數(shù)檢驗(yàn) 419
12.3.1 正態(tài)總體均值和方差的檢驗(yàn) 419
12.3.2 兩個(gè)正態(tài)總體均值的比較 421
12.3.3 兩個(gè)正態(tài)總體方差的比較 423
12.3.4 多個(gè)正態(tài)總體均值的比較 427
12.4 擬合優(yōu)度檢驗(yàn) 429
12.4.1 似然比檢驗(yàn) 430
12.4.2 皮爾遜x2檢驗(yàn) 432
12.4.3 最小二乘、極大似然估計(jì)中的皮爾遜x2檢驗(yàn) 435
12.4.4 擬合優(yōu)度的一般x2檢驗(yàn) 436
12.4.5 柯爾莫哥洛夫檢驗(yàn) 443
12.4.6 斯米爾諾夫克拉美馮,邁希斯檢驗(yàn) 447
12.5 信號(hào)的統(tǒng)計(jì)顯著性 449
12.5.1 賣驗(yàn)P值 449
12.5.2 信號(hào)的統(tǒng)計(jì)顯著性 451
12.6 獨(dú)立性檢驗(yàn) 454
12.6.1 二維隨機(jī)變量分量的獨(dú)立性檢驗(yàn) 454
12.6.2 多維隨機(jī)變量分量的獨(dú)立性檢驗(yàn) 458
12.7 相關(guān)性檢驗(yàn) 460
12.7.1 Pearson相關(guān)系數(shù)的檢驗(yàn) 460
12.7.2 Spearman秩相關(guān)檢驗(yàn) 463
12.7.3 Kendall丁相關(guān)檢驗(yàn) 466
12.7.4 多變量Kendall協(xié)和系數(shù)檢驗(yàn) 471
12.8 一致性檢驗(yàn) 474
12.8.1 符號(hào)檢驗(yàn) 475
12.8.2 兩子樣的游程檢驗(yàn) 480
12.8.3 游程檢驗(yàn)作為皮爾遜x2檢驗(yàn)的補(bǔ)充 484
12.8.4 兩子樣的斯米爾諾夫檢驗(yàn) 487
12.8.5 兩子樣的威爾科克森檢驗(yàn) 490
12.8.6 多個(gè)連續(xù)總體子樣的克魯斯卡爾瓦列斯秩檢驗(yàn) 495
12.8.7 多個(gè)離散總體子樣的x2檢驗(yàn) 498
第13章 貝葉斯統(tǒng)計(jì) 502
13.1 頻率概率和貝葉斯概率 503
13.2 貝葉斯公式和貝葉斯統(tǒng)計(jì)模型 504
13.2.1 貝葉斯公式 504
13.2.2 貝葉斯統(tǒng)計(jì)模型和貝葉斯推斷原則 506
13.2.3 先驗(yàn)分布和后驗(yàn)分布,先驗(yàn)分布的選擇 508
13.3 貝葉斯統(tǒng)計(jì)推斷 527
13.3.1 統(tǒng)計(jì)決策的基本概念 527
13.3.2 貝葉斯參數(shù)點(diǎn)估計(jì) 531
13.3.3 經(jīng)驗(yàn)貝葉斯估計(jì) 537
13.3.4 貝葉斯參數(shù)區(qū)間估計(jì) 540
13.3.5 貝葉斯假設(shè)檢驗(yàn) 545
第14章 蒙特卡羅法 552
14.1 蒙特卡羅法的基本思想 552
14.2 隨機(jī)數(shù)的產(chǎn)生及檢驗(yàn) 554
14.2.1 隨機(jī)數(shù)的產(chǎn)生 554
14.2.2 隨機(jī)數(shù)的統(tǒng)計(jì)檢驗(yàn) 556
14.3 任意隨機(jī)變量的隨機(jī)抽樣 561
14.3.1 直接抽樣方法 561
14.3.2 直接抽樣方法的推廣變換抽樣 564
14.3.3 舍選抽樣方法 567
14.3.4 利用極限定理抽樣 569
14.3.5 復(fù)合分布的抽樣方法 570
14.3.6 近似抽樣方法 572
14.3.7 多維分布的抽樣 574
14.4 蒙特卡羅法計(jì)算積分 580
14.4.1 頻率法均勻投點(diǎn)法 580
14.4.2 期望值估計(jì)法 584
14.4.3 重要抽樣方法 587
14.4.4 半解析法 588
14.4.5 自適應(yīng)蒙特卡羅積分 591
14.5 蒙特卡羅法應(yīng)用于粒子傳播問題 593
第15章 極小化方法 598
15.1 引言 598
15.2 無約束極小化的一維搜索 600
15.2.1 黃金分割法(O.618法) 601
15.2.2 斐波那契法 603
15.2.3 二次函數(shù)插值法(拋物線法) 607
15.2.4 進(jìn)退法 609
15.3 無約束n維極值的解析方法 612
15.3.1 最速下降法(梯度法) 613
15.3.2 牛頓法 617
15.3.3 共軛方向法和共軛梯度法 618
15.3.4 變尺度法 624
15.4 無約束n維極值的直接方法 626
15.4.1 坐標(biāo)輪換法 627
15.4.2 霍克吉弟斯模式搜索法 628
15.4.3 羅森布洛克轉(zhuǎn)軸法 629
15.4.4 單純形法 632
15.5 最小二乘Q2函數(shù)和似然函數(shù)的極值問題 635
15.5.1 最小二乘Q2函數(shù)極值 636
15.5.2 似然函數(shù)極值 637
15.6 局部極小和全域極小 639
15.6.1 網(wǎng)格法 240
15.6.2 隨機(jī)搜索法 640
15.7 約束n維極值問題 642
15.7.1 變量代換法 643
15.7.2 罰函數(shù)法 644
15.8 參數(shù)的誤差估計(jì) 648
第16章 去彌散方法 651
16.1 去彌散問題的數(shù)學(xué)表述 652
16.2 響應(yīng)矩陣求逆法 656
16.3 修正兇子法 660
16.4 正規(guī)化去彌散的一般策略 662
16.5 正規(guī)函數(shù) 663
16.5.1 Tikhonov正規(guī)函數(shù) 663
16.5.2 基于極大熵原理的正規(guī)函數(shù) 665
16.5.3 貝葉斯統(tǒng)計(jì)的極大熵原理 666
16.5.4 基于交義熵的正規(guī)函數(shù) 668
16.6 估計(jì)量的方差和偏差 669
16.7 正規(guī)參數(shù)的選擇 672
16.8 去彌散計(jì)算實(shí)例 675
16.9 數(shù)值計(jì)算 678
參考文獻(xiàn) 682
附表 691
示例索引 775
第12章假設(shè)檢驗(yàn)
12.1 假設(shè)檢驗(yàn)的一般概念
從第7章到第11章我們討論了參數(shù)估計(jì)問題.在這類問題中,隨機(jī)變量的分布函數(shù)的形式一般為已知,但其中包含著待估計(jì)的未知參數(shù),參數(shù)估計(jì)就是根據(jù)子樣觀測值對未知參數(shù)的數(shù)值或置信區(qū)間進(jìn)行統(tǒng)計(jì)推斷。如果被觀測的隨機(jī)變量的分布函數(shù)的確切形式未知,我們只能以假設(shè)的方式提出它所服從的分布,并從統(tǒng)計(jì)的觀點(diǎn)根據(jù)觀測值來判斷這一假設(shè)的合理性。這類問題是數(shù)理統(tǒng)計(jì)的又一重要內(nèi)容,稱為統(tǒng)計(jì)假設(shè)的檢驗(yàn)。
舉例來說,方向相反的高能量正負(fù)電子對撞,產(chǎn)生一對μ介子
e+ +e. .→ μ + +μ..
出射的μ.粒子與負(fù)電子e.之間的極角.是一個(gè)隨機(jī)變量。假定測量了n個(gè)反應(yīng)事例的.值為.1,.2,,.n,要求確定.的分布是否具有C(1+acos2 .),0...π(12.1.1)的形式,其中C是歸一化常數(shù),a是某個(gè)參數(shù).這就是一個(gè)假設(shè)檢驗(yàn)問題。
假設(shè)檢驗(yàn)可以分為參數(shù)檢驗(yàn)和非參數(shù)檢驗(yàn)兩類,如果有待檢驗(yàn)的是分布的某個(gè)參數(shù)是否等于某個(gè)規(guī)定值(分布函數(shù)形式已知,但包含未知參數(shù)),那么這屬于參數(shù)檢驗(yàn)問題。比如上例中已知隨機(jī)變量,具有式(12.1.1)的分布,要求根據(jù)觀測值.1,.2,,.n檢驗(yàn)未知參數(shù)a是否等于某個(gè)特定值a0,非參數(shù)檢驗(yàn)所處理的問題是:被觀測的隨機(jī)變量所服從的分布是否具有某個(gè)特定的函數(shù)形式,或是從兩個(gè)總體的各自一組觀測值來檢驗(yàn)這兩個(gè)總體是否有相同的分布等,在這種情況下,待檢驗(yàn)總體的分布的函數(shù)形式,在假設(shè)檢驗(yàn)完成前是無從知曉的。上例中,如果要根據(jù)一組觀測值.1,.2,,.n來確定隨機(jī)變量。是否服從式(12.1.1)的分布(事先并不知道,分布的函數(shù)形式),則就是非參數(shù)檢驗(yàn)問題。
12.1.1 原假設(shè)和備擇假設(shè)
參數(shù)檢驗(yàn)的一般問題可表述如下:設(shè)總體X的概率分布F(x;.)的函數(shù)形式為已知,但其中包含未知參數(shù),要求從總體的子樣測量值(x1,x2,,xn)來檢驗(yàn)未知參數(shù),是否等于某個(gè)指定值.0.對我們要驗(yàn)證的假設(shè)記為H0:.=.0,(12.1.2)稱為原假設(shè)或零假設(shè)。參數(shù)假設(shè)檢驗(yàn)問題的提出本身就意味著,總體X的真實(shí)分布的參數(shù)值既可能是H0規(guī)定的.0,也可能是不同于0的其他值。因此,與原假設(shè)相對,有 H1:.=..,..=.0稱為備擇假設(shè)或備選假設(shè),參數(shù),所有可能值的全體稱為容許假設(shè),容許假設(shè)(除原假設(shè)H0以外)都可作為備擇假設(shè),常見的參數(shù)備擇假設(shè)有如下類型:
H1:.=.1(.1為不等于.0的常數(shù)),(12.1.3)
H1:.>.0,(12.1.4)
H1:.<.0,(12.1.5)
H1:.=.0.(12.1.6)
如果假設(shè)對于參數(shù)的規(guī)定值是一個(gè)常數(shù),或者說是參數(shù)空間中的單點(diǎn)集,則該假設(shè)稱為簡單假設(shè);相反,假設(shè)對參數(shù)的規(guī)定值是參數(shù)空間中的非單點(diǎn)集,則稱為復(fù)合假設(shè)或復(fù)雜假設(shè)。于是式(12.1.2)和式(12.1.3)是簡單原假設(shè)和簡單備擇假設(shè),而式(12.1.4)~ 式(12.1.6)是復(fù)合備擇假設(shè)。
非參數(shù)檢驗(yàn)的一類問題是,待檢驗(yàn)的總體X的分布F(x)是否等于某個(gè)特定函數(shù)G(x),或者總體X的分布F(x)與總體Y的分布G(x)是否相同,其原假設(shè)可表述為H0:F(x)=G(x), (12.1.7)
備擇假設(shè)可有不同的類型
H1:F(x)>G(x),(12.1.8)
H1:F(x)H1:F(x).=G(x). (12.1.10)
一個(gè)假設(shè)檢驗(yàn)問題,就是利用待檢驗(yàn)總體的子樣觀測值來決定,究竟應(yīng)當(dāng)接受原假設(shè)(拒絕備擇假設(shè))還是應(yīng)當(dāng)拒絕原假設(shè)(接受備擇假設(shè)),至于原假設(shè)和備擇假設(shè)怎樣選擇,則是根據(jù)所要解決的具體問題來決定的。
式(12.1.4),式(12.1.5)的備擇假設(shè)對于待檢驗(yàn)的參數(shù)的規(guī)定值,完全落在原假設(shè).=.0的一側(cè)(上側(cè)或下側(cè)),這樣的檢驗(yàn)稱為單側(cè)檢驗(yàn);式(12.1.6)備擇假設(shè)對的規(guī)定值落在H0:.=.0的兩側(cè),稱為雙側(cè)檢驗(yàn).對于非參數(shù)檢驗(yàn)的情形,式(12.1.8),式(12.1.9)是單側(cè)檢驗(yàn),式(12.1.10)是雙側(cè)檢驗(yàn)。
12.1 假設(shè)檢驗(yàn)的一般概念403
……
12.1.2 假設(shè)檢驗(yàn)的一般方法
設(shè)X = {X1,X2,,Xn} 是從待檢驗(yàn)總體抽取的隨機(jī)子樣,而U=U(X)為子樣統(tǒng)計(jì)量(見6.2節(jié)統(tǒng)計(jì)量的定義),在假設(shè)檢驗(yàn)中稱為檢驗(yàn)統(tǒng)計(jì)量,令W是U的值域,當(dāng)零假設(shè)H0為真時(shí),U落入W的一個(gè)子域R的概率用α表示,0.α.1,α = P (U ∈ R|H0)=R g(u|H0)du,(12.1.11)其中g(shù)(u|H0)是H0為真時(shí)統(tǒng)計(jì)量U的概率密度,一般α為一接近于零的正數(shù),判斷待檢驗(yàn)的假設(shè)是拒絕還是接受,是根據(jù)所謂小概率事件的原理,即概率很小的事件在一次隨機(jī)試驗(yàn)中被認(rèn)為是幾乎不可能發(fā)生的。因此,當(dāng)我們有一組實(shí)際觀測值x1,x2,,xn并求出U的實(shí)際觀測值Uobs,如果它落在區(qū)域R之中,由于α很小,這一事件是小概率事件,因此,假設(shè)H0不大可能是正確的,我們稱在顯著性(水平)α上拒絕零假設(shè)H0而接受備選假設(shè)H1;反之,當(dāng)Uobs落在子域W R內(nèi),則在水平α上接受H0而拒絕H1,對零假設(shè)H0作出接受或拒絕的判斷,通常稱為對H0作顯著性檢驗(yàn),子域R稱為拒絕域或臨界域,子域W-R則稱為接受域,臨界域與接受域分界點(diǎn)的統(tǒng)計(jì)量U的值Uc稱為臨界點(diǎn)或臨界值(圖12.1(a))。應(yīng)當(dāng)指出,在某些檢驗(yàn)問題中,特別在某些雙側(cè)檢驗(yàn)問題中,存在兩個(gè)分隔開的臨界域,因而有兩個(gè)臨界點(diǎn),如圖12.1(b)所示。
圖12.1檢驗(yàn)統(tǒng)計(jì)量U的臨界域R和接受域W-RUc(Uc.)為臨界值,g(u|H0)是H0為真時(shí)U的概率密度
由假設(shè)檢驗(yàn)的上述判斷準(zhǔn)則可知,即使零假設(shè)H0為真,但檢驗(yàn)統(tǒng)計(jì)量U的實(shí)際觀測值仍然有α的概率落入拒絕域R,也就是說,當(dāng)用Uobs來檢驗(yàn)正確地反映觀測值的零假設(shè)時(shí),有100α%的可能性將拒絕H0.這類錯(cuò)誤稱為第一類錯(cuò)誤,亦即棄真的錯(cuò)誤,把本來正確的假設(shè)給否定了,為了減少棄真的錯(cuò)誤,α應(yīng)當(dāng)取得盡可能地小。
此外,還可能出現(xiàn)第二類錯(cuò)誤,即取偽的錯(cuò)誤,當(dāng)H0不為真但卻接受了H0.出現(xiàn)取偽錯(cuò)誤的概率取決于備擇假設(shè)H1,它等于H1為真而U落入接收域W-R的概率β,β = P (U ∈ W . R|H1)= . W -R g(u|H1)du,(12.1.12)其中g(shù)(u|H1)表示H1為真時(shí)統(tǒng)計(jì)量U的概率密度.零假設(shè)H0對備擇假設(shè)H1的檢驗(yàn)勢或勢函數(shù)定義為檢驗(yàn)勢=1. β = P (U ∈ R|H1)=. R g(u|H1)du,(12.1.13) 即H1為真而統(tǒng)計(jì)量U落入零假設(shè)拒絕域R的概率。
圖12.2是假設(shè)檢驗(yàn)中犯第一類錯(cuò)誤的概率α和犯第二類錯(cuò)誤的概率β的圖示,顯然,檢驗(yàn)統(tǒng)計(jì)量U及臨界值Uc的合理選擇應(yīng)當(dāng)是使α盡可能地小,使檢驗(yàn)勢1.β盡可能大,因而假設(shè)檢驗(yàn)問題的癥結(jié)在于選擇適當(dāng)?shù)臋z驗(yàn)統(tǒng)計(jì)量U及其適當(dāng)?shù)呐R界值Uc。
圖12.2參數(shù)假設(shè)檢驗(yàn)中第一類錯(cuò)誤的概率α和第二類錯(cuò)誤的概率β
例12.1單個(gè)π0 和多個(gè)π0 事例的區(qū)分
考察在氫氣泡室中質(zhì)子反質(zhì)子湮滅產(chǎn)生的粒子,泡室只能顯示帶電粒子的徑跡,通過對徑跡的測量可確定帶電粒子的種類、飛行方向和動(dòng)量;中性粒子則不能顯示和鑒別.pˉp反應(yīng)的產(chǎn)物有許多事例觀測到四條徑跡,并可鑒別出它們是π± 介子,但測定了這些π介子的動(dòng)量后發(fā)現(xiàn),反應(yīng)初態(tài)(pˉp)和反應(yīng)末態(tài)(4個(gè)π介子) 之間不滿足能量和動(dòng)量守恒,這表明,反應(yīng)末態(tài)中還有“丟失”了的中性粒子沒有被觀測到,根據(jù)反應(yīng)初態(tài)的能、動(dòng)量和反應(yīng)末態(tài)四個(gè)π介子的能、動(dòng)量可以求出所謂的“丟失質(zhì)量”(“丟失”的中性粒子的靜止能量之和),事例數(shù)的丟失質(zhì)量分布稱為丟失質(zhì)量譜,分析丟失質(zhì)量譜可知,丟失的中性粒子可能是一個(gè)或多個(gè)中性π0 介子,因此,pˉp反應(yīng)事例可以分為產(chǎn)生一個(gè)π0 和產(chǎn)生多個(gè)π0 兩類.按照假設(shè)檢驗(yàn)的概念,現(xiàn)在的問題可用下述零假設(shè)和備擇假設(shè)來表示:
H0:pˉp π+π+π.π.π0 ,→ H1:pˉp → π+π+π.π.M(M表示多個(gè)π0),丟失質(zhì)量的平方m2 作為檢驗(yàn)統(tǒng)計(jì)量,如果H0成立,即丟失了一個(gè)π0 ,那么m2 應(yīng)當(dāng)?shù)扔讦? 質(zhì)量的平方,即mπ2 0.顯然,臨界值mc2 的合理選擇應(yīng)該是略高于mπ2 0.這樣,如果一個(gè)事例的丟失質(zhì)量平方小于mc2 ,就有很大可能是產(chǎn)生一個(gè)π0 的事例,故接受H0是合理的;反過來若事例的丟失質(zhì)量平方m2 大于mc2 ,那么有很大可能產(chǎn)生一個(gè)以上的π0 ,故應(yīng)當(dāng)拒絕H0而接受備擇假設(shè)H1,認(rèn)為該事例是一個(gè)多π0 事件。
實(shí)驗(yàn)中觀測到的全部事例的丟失質(zhì)量譜一般都是連續(xù)分布,例如,圖12.3(a)就是一個(gè)典型的丟失質(zhì)量譜直方圖,這是一個(gè)實(shí)驗(yàn)分布,其中包含了測量誤差即實(shí)驗(yàn)分辨函數(shù)的效應(yīng)(見4.17.1節(jié)),這樣,盡管真實(shí)的丟失質(zhì)量小于mπ2 0,但由于測量誤差,測得的m2 卻有一定的概率大于m2 π0;反之,真實(shí)的丟失質(zhì)量大于m2 π0時(shí),也有一定的概率實(shí)驗(yàn)測定值卻小于mπ2 0,這就模糊了單π0 事件與多π0 事件的界限,使m2c 的選擇面臨兩難的境地。如果m2c 選得稍高于m2 π0,可以保證多π0 事例被誤認(rèn)為單π0 事例的概率很小,即取偽錯(cuò)誤的概率很小,但真實(shí)的單π0 事例卻有較大的可能損失掉(棄真的概率較大);反過來,若m2c 比mπ2 0大得多,雖然減小了棄真錯(cuò)誤的概率,但取偽錯(cuò)誤的概率卻由此增大了,這種情況在假設(shè)檢驗(yàn)問題中是有代表性的,減小α和減小β這兩個(gè)要求常;ハ嗟钟|,必須根據(jù)實(shí)際問題作適當(dāng)?shù)恼壑小?/g(x),(12.1.9)>