第1章 深度學(xué)習(xí)簡介1
1.1 人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)2
1.2 深度學(xué)習(xí)的發(fā)展歷程6
1.3 深度學(xué)習(xí)的應(yīng)用10
1.3.1 計算機(jī)視覺10
1.3.2 語音識別13
1.3.3 自然語言處理14
1.3.4 人機(jī)博弈17
1.4 深度學(xué)習(xí)工具介紹和對比19
小結(jié)23
第2章 TensorFlow環(huán)境搭建25
2.1 TensorFlow的主要依賴包25
2.1.1 Protocol Buffer25
2.1.2 Bazel27
2.2 TensorFlow安裝29
2.2.1 使用Docker安裝30
2.2.2 使用pip安裝31
2.2.3 從源代碼編譯安裝32
2.3 TensorFlow測試樣例37
小結(jié)38
第3章 TensorFlow入門39
3.1 TensorFlow計算模型計算圖39
3.1.1 計算圖的概念39
3.1.2 計算圖的使用40
3.2 TensorFlow數(shù)據(jù)模型張量42
3.2.1 張量的概念42
3.2.2 張量的使用44
3.3 TensorFlow運(yùn)行模型會話45
3.4 TensorFlow實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)47
3.4.1 TensorFlow游樂場及神經(jīng)網(wǎng)絡(luò)簡介47
3.4.2 前向傳播算法簡介50
3.4.3 神經(jīng)網(wǎng)絡(luò)參數(shù)與TensorFlow變量54
3.4.4 通過TensorFlow訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型58
3.4.5 完整神經(jīng)網(wǎng)絡(luò)樣例程序62
小結(jié)64
第4章 深層神經(jīng)網(wǎng)絡(luò)66
4.1 深度學(xué)習(xí)與深層神經(jīng)網(wǎng)絡(luò)66
4.1.1 線性模型的局限性67
4.1.2 激活函數(shù)實(shí)現(xiàn)去線性化70
4.1.3 多層網(wǎng)絡(luò)解決異或運(yùn)算73
4.2 損失函數(shù)定義74
4.2.1 經(jīng)典損失函數(shù)75
4.2.2 自定義損失函數(shù)79
4.3 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法81
4.4 神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化85
4.4.1 學(xué)習(xí)率的設(shè)置85
4.4.2 過擬合問題87
4.4.3 滑動平均模型91
小結(jié)92
第5章 MNIST數(shù)字識別問題94
5.1 MNIST數(shù)據(jù)處理94
5.2 神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練及不同模型結(jié)果對比97
5.2.1 TensorFlow訓(xùn)練神經(jīng)網(wǎng)絡(luò)97
5.2.2 使用驗(yàn)證數(shù)據(jù)集判斷模型效果102
5.2.3 不同模型效果比較103
5.3 變量管理107
5.4 TensorFlow模型持久化112
5.4.1 持久化代碼實(shí)現(xiàn)112
5.4.2 持久化原理及數(shù)據(jù)格式117
5.5 TensorFlow最佳實(shí)踐樣例程序126
小結(jié)132
第6章 圖像識別與卷積神經(jīng)網(wǎng)絡(luò)134
6.1 圖像識別問題簡介及經(jīng)典數(shù)據(jù)集135
6.2 卷積神經(jīng)網(wǎng)絡(luò)簡介139
6.3 卷積神經(jīng)網(wǎng)絡(luò)常用結(jié)構(gòu)142
6.3.1 卷積層142
6.3.2 池化層147
6.4 經(jīng)典卷積網(wǎng)絡(luò)模型149
6.4.1 LeNet-5模型150
6.4.2 Inception-v3模型156
6.5 卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)160
6.5.1 遷移學(xué)習(xí)介紹160
6.5.2 TensorFlow實(shí)現(xiàn)遷移學(xué)習(xí)161
小結(jié)168
第7章 圖像數(shù)據(jù)處理170
7.1 TFRecord輸入數(shù)據(jù)格式170
7.1.1 TFRecord格式介紹171
7.1.2 TFRecord樣例程序171
7.2 圖像數(shù)據(jù)處理173
7.2.1 TensorFlow圖像處理函數(shù)174
7.2.2 圖像預(yù)處理完整樣例183
7.3 多線程輸入數(shù)據(jù)處理框架185
7.3.1 隊(duì)列與多線程186
7.3.2 輸入文件隊(duì)列190
7.3.3 組合訓(xùn)練數(shù)據(jù)（batching）193
7.3.4 輸入數(shù)據(jù)處理框架196
7.4 數(shù)據(jù)集（Dataset）199
7.4.1 數(shù)據(jù)集的基本使用方法199
7.4.2 數(shù)據(jù)集的高層操作202
小結(jié)207
第8章 循環(huán)神經(jīng)網(wǎng)絡(luò)208
8.1 循環(huán)神經(jīng)網(wǎng)絡(luò)簡介208
8.2 長短時記憶網(wǎng)絡(luò)（LSTM）結(jié)構(gòu)214
8.3 循環(huán)神經(jīng)網(wǎng)絡(luò)的變種218
8.3.1 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)和深層循環(huán)神經(jīng)網(wǎng)絡(luò)218
8.3.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的dropout221
8.4 循環(huán)神經(jīng)網(wǎng)絡(luò)樣例應(yīng)用222
小結(jié)226
第9章 自然語言處理227
9.1 語言模型的背景知識227
9.1.1 語言模型簡介227
9.1.2 語言模型的評價方法229
9.2 神經(jīng)語言模型232
9.2.1 PTB數(shù)據(jù)集的預(yù)處理233
9.2.2 PTB數(shù)據(jù)的batching方法236
9.2.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的神經(jīng)語言模型238
9.3 神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯244
9.3.1 機(jī)器翻譯背景與Seq2Seq模型介紹245
9.3.2 機(jī)器翻譯文本數(shù)據(jù)的預(yù)處理246
9.3.3 Seq2Seq模型的代碼實(shí)現(xiàn)250
9.3.4 注意力機(jī)制257
小結(jié)261
第10章 TensorFlow高層封裝262
10.1 TensorFlow高層封裝總覽262
10.2 Keras介紹267
10.2.1 Keras基本用法267
10.2.2 Keras高級用法272
10.3 Estimator介紹277
10.3.1 Estimator基本用法278
10.3.2 Estimator自定義模型280
10.3.3 使用數(shù)據(jù)集（Dataset）作為Estimator輸入284
小結(jié)286
第11章 TensorBoard可視化287
11.1 TensorBoard簡介287
11.2 TensorFlow計算圖可視化289
11.2.1 命名空間與TensorBoard圖上節(jié)點(diǎn)290
11.2.2 節(jié)點(diǎn)信息297
11.3 監(jiān)控指標(biāo)可視化301
11.4 高維向量可視化309
小結(jié)317
第12章 TensorFlow計算加速318
12.1 TensorFlow使用GPU318
12.2 深度學(xué)習(xí)訓(xùn)練并行模式324
12.3 多GPU并行327
12.4 分布式TensorFlow334
12.4.1 分布式TensorFlow原理334
12.4.2 分布式TensorFlow模型訓(xùn)練338
小結(jié)348