本書(shū)是深度學(xué)習(xí)的入門(mén)教材，系統(tǒng)地介紹了深度學(xué)習(xí)的基本概念與實(shí)戰(zhàn)應(yīng)用，包括深度學(xué)習(xí)在圖像、語(yǔ)音、文本方向的應(yīng)用，以及前沿發(fā)展等。本書(shū)分為10章，大致為3個(gè)部分：第1部分（1-3章）介紹深度學(xué)習(xí)的基礎(chǔ)知識(shí)。第2部分（4-6章）介紹深度學(xué)習(xí)的各個(gè)方面，從算法設(shè)計(jì)到模型實(shí)現(xiàn)。第3部分（8-10章）介紹深度學(xué)習(xí)的實(shí)戰(zhàn)應(yīng)用以及前沿發(fā)展。每章都附有相應(yīng)的習(xí)題和參考文獻(xiàn)，以便感興趣的讀者進(jìn)一步深入思考。"讓學(xué)習(xí)變得輕松”是本書(shū)的基本編寫(xiě)理念。本書(shū)適合作為相關(guān)專業(yè)本科和研究生教材，也適合作為深度學(xué)習(xí)研究與開(kāi)發(fā)人員的入門(mén)書(shū)籍。
清華大學(xué)博士，解放軍理工大學(xué)教授、學(xué)科帶頭人，中國(guó)云計(jì)算專家委員會(huì)委員。主要研究方向?yàn)樾畔⒕W(wǎng)格和云計(jì)算，完成科研課題18項(xiàng)，發(fā)表論文70余篇，獲部級(jí)科技進(jìn)步獎(jiǎng)6項(xiàng)。曾奪得國(guó)際計(jì)算機(jī)排序比賽冠軍，并二次奪得全國(guó)高�？萍急荣�*高獎(jiǎng)，獲“全軍十大學(xué)習(xí)成才標(biāo)兵”、“南京十大杰出青年”和“清華大學(xué)學(xué)術(shù)新秀”等稱號(hào)。2002年首倡的“網(wǎng)格計(jì)算池”和2003年研發(fā)的“反垃圾郵件網(wǎng)格”分別為云計(jì)算和云安全的前身。創(chuàng)辦了知名的中國(guó)網(wǎng)格和中國(guó)云計(jì)算網(wǎng)站。
第1章 深度學(xué)習(xí)的來(lái)源與應(yīng)用 1
1．1 人工智能的思想、流派與發(fā)展起落 1
1．1．1 人工智能的思潮流派和主要研究與應(yīng)用領(lǐng)域 2
1．1．2 人工智能的三起三落 4
1．2 什么是深度學(xué)習(xí) 6
1．2．1 我們不分離――數(shù)據(jù)和算法 6
1．2．2 深度學(xué)習(xí)基礎(chǔ) 9
1．3 機(jī)器學(xué)習(xí)與深度學(xué)習(xí) 10
1．3．1 機(jī)器學(xué)習(xí)的定義與種類 10
1．3．2 機(jī)器學(xué)習(xí)的任務(wù)與方法 13
1．3．3 深度學(xué)習(xí)的提出 16
1．4 深度學(xué)習(xí)的應(yīng)用場(chǎng)景 18
1．4．1 應(yīng)用場(chǎng)合和概念層次 18
1．4．2 主要開(kāi)發(fā)工具和框架 20
1．4．3 人工智能、深度學(xué)習(xí)有關(guān)學(xué)術(shù)會(huì)議和賽事 22
習(xí)題 24
參考文獻(xiàn) 24
第2章 深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ) 26
2．1 線性代數(shù) 26
2．1．1 向量空間 26
2．1．2 矩陣分析 28
2．2 概率與統(tǒng)計(jì) 30
2．2．1 概率與條件概率 30
2．2．2 貝葉斯理論 33
2．2．3 信息論基礎(chǔ) 35
2．3 多元微積分 39
2．3．1 導(dǎo)數(shù)和偏導(dǎo)數(shù) 39
2．3．2 梯度和海森矩陣 42
2．3．3 最速下降法 44
2．3．4 隨機(jī)梯度下降算法 45
習(xí)題 48
參考文獻(xiàn) 50
第3章 人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí) 51
3．1 探秘大腦的工作原理 52
3．1．1 人類活動(dòng)抽象與深度學(xué)習(xí)模型 53
3．1．2 人腦神經(jīng)元的結(jié)構(gòu) 54
3．1．3 人腦神經(jīng)元功能 55
3．1．4 人腦視覺(jué)機(jī)理 57
3．2 人腦神經(jīng)元模型 59
3．2．1 人腦神經(jīng)元模型介紹 60
3．2．2 激活函數(shù) 62
3．3 M-P模型 64
3．3．1 標(biāo)準(zhǔn)M-P模型 65
3．3．2 改進(jìn)的M-P模型 66
3．4 人腦神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu) 66
3．4．1 前饋神經(jīng)網(wǎng)絡(luò) 67
3．4．2 反饋網(wǎng)絡(luò) 67
3．5 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 68
3．5．1 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 68
3．5．2 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 71
3．5．3 人工神經(jīng)網(wǎng)絡(luò)算法基本要求 73
3．5．4 神經(jīng)網(wǎng)絡(luò)計(jì)算特點(diǎn) 74
3．6 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 75
3．7 神經(jīng)網(wǎng)絡(luò)基本概念與功能 76
3．7．1 幾個(gè)基本概念 76
3．7．2 基本功能 78
3．7．3 感知機(jī)的局限性 83
3．8 深度學(xué)習(xí)其他網(wǎng)絡(luò)結(jié)構(gòu) 84
3．8．1 卷積神經(jīng)網(wǎng)絡(luò) 88
3．8．2 循環(huán)（遞歸）神經(jīng)網(wǎng)絡(luò) 94
習(xí)題 97
參考文獻(xiàn) 98
第4章 深度學(xué)習(xí)基本過(guò)程 99
4．1 正向?qū)W習(xí)過(guò)程 99
4．1．1 正向?qū)W習(xí)概述 99
4．1．2 正向傳播的流程 100
4．1．3 正向傳播的詳細(xì)原理 100
4．2 反向調(diào)整過(guò)程 102
4．2．1 反向調(diào)整概述 102
4．2．2 反向傳播過(guò)程詳解 103
4．2．3 深層模型反向調(diào)整的問(wèn)題與對(duì)策 106
4．3 手寫(xiě)體數(shù)字識(shí)別實(shí)例 107
4．3．1 數(shù)據(jù)準(zhǔn)備 107
4．3．2 網(wǎng)絡(luò)設(shè)計(jì) 109
4．3．3 模型訓(xùn)練 115
4．3．4 模型測(cè)試 116
習(xí)題 121
參考文獻(xiàn) 121
第5章 深度學(xué)習(xí)主流模型 122
5．1 卷積神經(jīng)網(wǎng)絡(luò) 123
5．1．1 CNN概念 123
5．1．2 CNN常用算法 127
5．1．3 CNN訓(xùn)練技巧 131
5．2 循環(huán)神經(jīng)網(wǎng)絡(luò) 132
5．2．1 RNN結(jié)構(gòu) 132
5．2．2 RNN訓(xùn)練 133
5．2．3 RNN訓(xùn)練技巧 135
習(xí)題 136
參考文獻(xiàn) 136
第6章 深度學(xué)習(xí)的主流開(kāi)源框架 138
6．1 Caffe 138
6．1．1 Caffe框架 138
6．1．2 安裝Caffe 139
6．1．3 案例：基于Caffe的目標(biāo)識(shí)別 145
6．2 TensorFlow 146
6．2．1 TensorFlow框架 146
6．2．2 安裝TensorFlow 147
6．2．3 案例：基于TensorFlow的目標(biāo)識(shí)別 149
6．3 其他開(kāi)源框架 150
6．3．1 CNTK 150
6．3．2 MXNet 151
6．3．3 Theano 151
6．3．4 Torch 151
6．3．5 Deeplearning4j 152
習(xí)題 153
參考文獻(xiàn) 153
第7章 深度學(xué)習(xí)在圖像中的應(yīng)用 154
7．1 圖像識(shí)別基礎(chǔ) 154
7．2 基于深度學(xué)習(xí)的大規(guī)模圖像識(shí)別 155
7．2．1 大規(guī)模圖像數(shù)據(jù)庫(kù)：ImageNet 155
7．2．2 AlexNet網(wǎng)絡(luò)結(jié)構(gòu) 156
7．2．3 非線性激活函數(shù)ReLU 157
7．2．4 在多GPU上進(jìn)行實(shí)現(xiàn) 158
7．2．5 增加訓(xùn)練樣本 158
7．2．6 dropout技術(shù) 159
7．3 應(yīng)用舉例：人臉識(shí)別 160
7．3．1 人臉識(shí)別的經(jīng)典流程 160
7．3．2 人臉圖像數(shù)據(jù)庫(kù) 161
7．3．3 基于深度學(xué)習(xí)的人臉識(shí)別方法 162
7．4 應(yīng)用舉例：圖像風(fēng)格化 163
7．4．1 內(nèi)容重構(gòu) 164
7．4．2 風(fēng)格重構(gòu) 165
7．4．3 內(nèi)容與風(fēng)格的重組 166
7．5 應(yīng)用舉例：圖像標(biāo)注 167
7．5．1 基于深度網(wǎng)絡(luò)的圖像標(biāo)注方法概述 168
7．5．2 視覺(jué)語(yǔ)義對(duì)齊 169
7．5．3 為新圖像生成對(duì)應(yīng)文本描述 171
習(xí)題 172
參考文獻(xiàn) 172
第8章 深度學(xué)習(xí)在語(yǔ)音中的應(yīng)用 174
8．1 語(yǔ)音識(shí)別基礎(chǔ) 174
8．1．1 人類之間的交流 175
8．1．2 人機(jī)交流 175
8．1．3 語(yǔ)音識(shí)別系統(tǒng)的基本結(jié)構(gòu) 176
8．1．4 特征提取 176
8．1．5 聲學(xué)模型 177
8．1．6 語(yǔ)言模型 177
8．1．7 解碼器 178
8．1．8 用于語(yǔ)音識(shí)別的GMM-HMM模型 178
8．2 基于深度學(xué)習(xí)的連續(xù)語(yǔ)音識(shí)別 181
8．2．1 DNN-HMM混合系統(tǒng) 181
8．2．2 CD-DNN-HMM的關(guān)鍵模塊及分析 185
8．3 應(yīng)用舉例：語(yǔ)音輸入法 190
8．3．1 案例背景 190
8．3．2 語(yǔ)音輸入法設(shè)計(jì) 191
8．3．3 語(yǔ)音中心SpeechCenter的設(shè)計(jì) 192
8．3．4 輸入法FreeVoice的設(shè)計(jì) 194
8．3．5 FreeVoice和SpeechCenter之間的通信設(shè)計(jì) 196
習(xí)題 198
參考文獻(xiàn) 198
第9章 深度學(xué)習(xí)在文本中的應(yīng)用 201
9．1 自然語(yǔ)言處理基礎(chǔ) 201
9．1．1 正則表達(dá)式和自動(dòng)機(jī) 202
9．1．2 句法處理 203
9．1．3 詞的分類和詞性標(biāo)注 203
9．1．4 上下文無(wú)關(guān)語(yǔ)法 205
9．1．5 淺層語(yǔ)法分析 205
9．1．6 語(yǔ)義分析 206
9．1．7 語(yǔ)義網(wǎng)絡(luò) 206
9．1．8 詞匯關(guān)系信息庫(kù) 206
9．2 基于深度學(xué)習(xí)的文本處理 207
9．2．1 詞匯向量化表示 207
9．2．2 句法分析 209
9．2．3 神經(jīng)機(jī)器翻譯 209
9．2．4 情感分析 210
9．3 應(yīng)用舉例：機(jī)器翻譯 211
9．4 應(yīng)用舉例：聊天機(jī)器人 215
9．4．1 聊天機(jī)器人的主要功能模塊 216
9．4．2 主要的技術(shù)挑戰(zhàn) 217
9．4．3 深度學(xué)習(xí)構(gòu)建智能聊天機(jī)器人 218
習(xí)題 220
參考文獻(xiàn) 220
第10章 深度學(xué)習(xí)前沿發(fā)展 222
10．1 增強(qiáng)學(xué)習(xí) 222
10．1．1 增強(qiáng)學(xué)習(xí)的基本概念 222
10．1．2 增強(qiáng)學(xué)習(xí)的過(guò)程 224
10．1．3 增強(qiáng)學(xué)習(xí)的應(yīng)用 225
10．2 遷移學(xué)習(xí) 225
10．2．1 遷移學(xué)習(xí)的定義 226
10．2．2 遷移學(xué)習(xí)的分類 226
10．2．3 遷移學(xué)習(xí)的應(yīng)用場(chǎng)景 226
10．3 記憶網(wǎng)絡(luò) 228
10．3．1 循環(huán)神經(jīng)網(wǎng)絡(luò) 228
10．3．2 長(zhǎng)短期記憶網(wǎng)絡(luò) 228
10．3．3 長(zhǎng)短期記憶變體 231
10．4 深度學(xué)習(xí)的硬件實(shí)現(xiàn) 232
10．4．1 FPGA 232
10．4．2 ASIC 233
10．4．3 TPU 234
10．4．4 寒武紀(jì) 235
10．4．5 TrueNorth 237
習(xí)題 238
參考文獻(xiàn) 238
附錄A 人工智能和大數(shù)據(jù)實(shí)驗(yàn)環(huán)境 240
書(shū)單推薦
