概率圖模型結(jié)合了概率論與圖論的知識,提供了一種簡單的可視化概率模型的方法,在人工智能、機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺等領(lǐng)域有著廣闊的應(yīng)用前景。本書旨在幫助讀者學(xué)習(xí)使用概率圖模型,理解計(jì)算機(jī)如何通過貝葉斯模型和馬爾科夫模型來解決現(xiàn)實(shí)世界的問題,同時(shí)教會讀者選擇合適的R語言程序包、合適的算法來準(zhǔn)備數(shù)據(jù)并建立模型。本書適合各行業(yè)的數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)愛好者和工程師等人群閱讀、使用。
David Bellot是法國國家信息與自動(dòng)化研究所(INRIA)計(jì)算機(jī)科學(xué)專業(yè)的博士,致力于貝葉斯機(jī)器學(xué)習(xí)。他也是美國加州大學(xué)伯克利分校的博士后,為英特爾、Orange電信和巴克萊銀行等公司工作過。他現(xiàn)在財(cái)經(jīng)行業(yè)工作,使用機(jī)器學(xué)習(xí)技術(shù)開發(fā)財(cái)經(jīng)市場的預(yù)測算法,同時(shí)也是開源項(xiàng)目,如Boost C++庫的貢獻(xiàn)者。
譯者簡介:
魏博,志諾維思(北京)基因科技有限公司高-級算法工程師。本科畢業(yè)于武漢大學(xué)數(shù)學(xué)系,博士畢業(yè)于中國科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院計(jì)算機(jī)軟件與理論專業(yè)。前阿里巴巴優(yōu)酷事業(yè)部視頻搜索算法專家,歐普拉軟件科技(北京)有限公司新聞推薦高-級算法工程師。長期關(guān)注于用戶需求建模、行為建模和自動(dòng)推理。數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化愛好者,尤其熱衷于海量數(shù)據(jù)中用戶視角和用戶行為模式的刻畫和推斷,以及自然語言處理問題.
第 1章 概率推理 1
1.1 機(jī)器學(xué)習(xí) 3
1.2 使用概率表示不確定性 4
1.2.1 信念和不確定性的概率表示 5
1.2.2 條件概率 6
1.2.3 概率計(jì)算和隨機(jī)變量 7
1.2.4 聯(lián)合概率分布 9
1.2.5 貝葉斯規(guī)則 10
1.3 概率圖模型 18
1.3.1 概率模型 18
1.3.2 圖和條件獨(dú)立 19
1.3.3 分解分布 21
1.3.4 有向模型 22
1.3.5 無向模型 23
1.3.6 示例和應(yīng)用 23
1.4 小結(jié) 27
第 2章 精 確推斷 28
2.1 構(gòu)建圖模型 29
2.1.1 隨機(jī)變量的類型 30
2.1.2 構(gòu)建圖 31
2.2 變量消解 37
2.3 和積與信念更新 39
2.4 聯(lián)結(jié)樹算法 43
2.5 概率圖模型示例 51
2.5.1 灑水器例子 51
2.5.2 醫(yī)療專家系統(tǒng) 52
2.5.3 多于兩層的模型 53
2.5.4 樹結(jié)構(gòu) 55
2.6 小結(jié) 56
第3章 學(xué)習(xí)參數(shù) 58
3.1 引言 59
3.2 通過推斷學(xué)習(xí) 63
3.3 zui大似然法 67
3.3.1 經(jīng)驗(yàn)分布和模型分布是如何關(guān)聯(lián)的? 67
3.3.2 zui大似然法和R語言實(shí)現(xiàn) 69
3.3.3 應(yīng)用 73
3.4 學(xué)習(xí)隱含變量——期望zui大化算法 75
3.4.1 隱變量 76
3.5 期望zui大化的算法原理 77
3.5.1 期望zui大化算法推導(dǎo) 77
3.5.2 對圖模型使用期望zui大化算法 79
3.6 小結(jié) 80
第4章 貝葉斯建!A(chǔ)模型 82
4.1 樸素貝葉斯模型 82
4.1.1 表示 84
4.1.2 學(xué)習(xí)樸素貝葉斯模型 85
4.1.3 完全貝葉斯的樸素貝葉斯模型 87
4.2 Beta二項(xiàng)式分布 90
4.2.1 先驗(yàn)分布 94
4.2.2 帶有共軛屬性的后驗(yàn)分布 95
4.2.3 如何選取Beta參數(shù)的值 95
4.3 高斯混合模型 97
4.3.1 定義 97
4.4 小結(jié) 104
第5章 近似推斷 105
5.1 從分布中采樣 106
5.2 基本采樣算法 108
5.2.1 標(biāo)準(zhǔn)分布 108
5.3 拒絕性采樣 111
5.3.1 R語言實(shí)現(xiàn) 113
5.4 重要性采樣 119
5.4.1 R語言實(shí)現(xiàn) 121
5.5 馬爾科夫鏈蒙特卡洛算法 127
5.5.1 主要思想 127
5.5.2 Metropolis-Hastings算法 128
5.6 概率圖模型MCMC算法R語言實(shí)現(xiàn) 135
5.6.1 安裝Stan和RStan 136
5.6.2 RStan的簡單例子 136
5.7 小結(jié) 137
第6章 貝葉斯建!性模型 139
6.1 線性回歸 140
6.1.1 估計(jì)參數(shù) 142
6.2 貝葉斯線性模型 146
6.2.1 模型過擬合 147
6.2.2 線性模型的圖模型 149
6.2.3 后驗(yàn)分布 151
6.2.4 R語言實(shí)現(xiàn) 153
6.2.5 一種穩(wěn)定的實(shí)現(xiàn) 156
6.2.6 更多R語言程序包 161
6.3 小結(jié) 161
第7章 概率混合模型 162
7.1 混合模型 162
7.2 混合模型的期望zui大化 164
7.3 伯努利混合 169
7.4 專家混合 172
7.5 隱狄利克雷分布 176
7.5.1 LDA模型 176
7.5.2 變分推斷 179
7.5.3 示例 180
7.6 小結(jié) 183
附錄 184