本書詳細論述了采用深度結構的動機、原理和理論依據(jù),討論了訓練深度神經(jīng)網(wǎng)絡的難點,繼而詳盡地介紹了自動編碼器、受限玻爾茲曼機以及深度置信網(wǎng)絡的概念和理論,并進行了理論分析。
譯者序
1 引言1
1.1 如何訓練深度結構3
1.2 中間層表示:在不同的任務中共享特征和抽象4
1.3 學習人工智能的必經(jīng)之路5
1.4 本書大綱6
2 深度結構的理論優(yōu)勢8
2.1 計算復雜性10
2.2 一些非正式的論證11
3 局部與非局部泛化性13
3.1 局部模板匹配的局限性13
3.2 學習分布式表示17
4 具有深度結構的神經(jīng)網(wǎng)絡19
4.1 多層神經(jīng)網(wǎng)絡19
4.2 訓練深度神經(jīng)網(wǎng)絡的挑戰(zhàn)20
4.3 深度結構的無監(jiān)督學習25
4.4 深度生成結構26
4.5 卷積神經(jīng)網(wǎng)絡28
4.6 自動編碼器29
5 能量模型和玻爾茲曼機31
5.1 能量模型和專家乘積系統(tǒng)31
5.2 玻爾茲曼機34
5.3 受限玻爾茲曼機36
5.4 對比散度39
目 錄Ⅴ
6 深層結構的逐層貪心訓練46
6.1 深度置信網(wǎng)絡的逐層訓練46
6.2 堆疊自動編碼器訓練48
6.3 半監(jiān)督與部分監(jiān)督訓練49
7 受限玻爾茲曼機和自動編碼器的變體51
7.1 自動編碼器和受限玻爾茲曼機的稀疏化表示51
7.2 降噪自動編碼器55
7.3 層內(nèi)連接56
7.4 條件RBM和時序RBM 57
7.5 分解式RBM 59
7.6 受限玻爾茲曼機和對比散度的推廣59
8 DBN各層聯(lián)合優(yōu)化中的隨機變分邊界62
8.1 將RBM展開為無限有向置信網(wǎng)絡62
8.2 逐層貪心訓練的變分證明64
8.3 所有層的聯(lián)合無監(jiān)督訓練66
9 展望69
9.1 全局優(yōu)化策略69
9.2 無監(jiān)督學習的重要性72
9.3 開放的問題73
10 總結76
致謝78
參考文獻79