前言
第1章　深度學(xué)習(xí)簡(jiǎn)介1
1.1　機(jī)器學(xué)習(xí)與深度學(xué)習(xí)1
1.2　TensorFlow概述2
1.3　環(huán)境搭建3
1.3.1　在Windows系統(tǒng)下安裝Anaconda3
1.3.2　在Anaconda下安裝TensorFlow與Keras6
1.3.3　Spyder編輯器8
第2章　Python基礎(chǔ)11
2.1　數(shù)據(jù)類型11
2.1.1　數(shù)值類型11
2.1.2　字符串類型13
2.1.3　布爾類型13
2.2　變量與常量14
2.3　運(yùn)算符14
2.3.1　運(yùn)算符概述14
2.3.2　運(yùn)算符優(yōu)先級(jí)15
2.4　選擇與循環(huán)15
2.4.1　if語(yǔ)句15
2.4.2　while循環(huán)18
2.4.3　for循環(huán)20
2.4.4　break和continue21
2.5　列表與元組23
2.5.1　創(chuàng)建23
2.5.2　查詢24
2.5.3　修改24
2.5.4　刪除26
2.6　字典26
2.6.1　字典的創(chuàng)建27
2.6.2　字典的常規(guī)操作27
2.6.3　字典的遍歷29
2.7　函數(shù)29
2.7.1　函數(shù)的定義與調(diào)用30
2.7.2　參數(shù)傳遞31
2.8　面向?qū)ο缶幊?3
2.8.1　類與對(duì)象33
2.8.2　繼承與多態(tài)34
2.9　思考與練習(xí)37
第3章　神經(jīng)網(wǎng)絡(luò)基礎(chǔ)38
3.1　單層神經(jīng)網(wǎng)絡(luò)38
3.2　多層神經(jīng)網(wǎng)絡(luò)39
3.2.1　隱藏層39
3.2.2　輸入層與輸出層41
3.3　激活函數(shù)42
3.3.1　Sigmoid函數(shù)42
3.3.2　Tanh函數(shù)43
3.3.3　Relu函數(shù)44
3.3.4　Softmax函數(shù)45
3.4　神經(jīng)網(wǎng)絡(luò)工作過(guò)程45
3.5　損失函數(shù)47
3.5.1　均方差函數(shù)47
3.5.2　交叉熵函數(shù)47
3.6　優(yōu)化算法48
3.7　反向傳播49
3.8　泛化能力52
3.9　多層感知器53
3.10　MNIST數(shù)據(jù)集54
3.10.1　下載MNIST數(shù)據(jù)集54
3.10.2　數(shù)據(jù)預(yù)處理56
3.11　Keras實(shí)現(xiàn)感知器的手寫(xiě)體識(shí)別58
3.11.1　單層感知器手寫(xiě)體識(shí)別58
3.11.2　多層感知器手寫(xiě)體識(shí)別61
3.12　思考與練習(xí)67
第4章　卷積神經(jīng)網(wǎng)絡(luò)68
4.1　卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及原理68
4.1.1　卷積神經(jīng)網(wǎng)絡(luò)特點(diǎn)69
4.1.2　卷積層70
4.1.3　池化層72
4.1.4　全連接層73
4.2　卷積神經(jīng)網(wǎng)絡(luò)工作過(guò)程74
4.3　簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)MNIST分類76
4.3.1　MNIST數(shù)據(jù)集預(yù)處理76
4.3.2　簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)搭建77
4.4　CIFAR-10數(shù)據(jù)集84
4.4.1　下載CIFAR-10數(shù)據(jù)集85
4.4.2　CIFAR-10數(shù)據(jù)集預(yù)處理87
4.5　簡(jiǎn)單卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)CIFAR-10分類88
4.6　思考與練習(xí)93
第5章　經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)94
5.1　LeNet概述94
5.2　LeNet實(shí)現(xiàn)MNIST分類95
5.2.1　MNIST數(shù)據(jù)預(yù)處理95
5.2.2　基于Keras搭建LeNet網(wǎng)絡(luò)結(jié)構(gòu)95
5.2.3　對(duì)LeNet網(wǎng)絡(luò)模型進(jìn)行編譯、訓(xùn)練、評(píng)估與預(yù)測(cè)98
5.3　AlexNet概述101
5.4　AlexNet實(shí)現(xiàn)MNIST分類103
5.4.1　基于Keras搭建AlexNet網(wǎng)絡(luò)結(jié)構(gòu)103
5.4.2　對(duì)AlexNet網(wǎng)絡(luò)模型進(jìn)行編譯、訓(xùn)練、評(píng)估與預(yù)測(cè)107
5.5　VGG16概述110
5.6　VGG16實(shí)現(xiàn)MNIST分類111
5.6.1　基于Keras搭建VGG16網(wǎng)絡(luò)結(jié)構(gòu)112
5.6.2　對(duì)VGG16網(wǎng)絡(luò)模型進(jìn)行評(píng)估與預(yù)測(cè)115
5.7　思考與練習(xí)117
第6章　經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)階118
6.1　GoogLeNet概述118
6.2　GoogLeNet實(shí)現(xiàn)MNIST分類119
6.2.1　基于Keras搭建GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)119
6.2.2　對(duì)GoogLeNet進(jìn)行訓(xùn)練、評(píng)估與預(yù)測(cè)125
6.3　ResNet概述129
6.4　ResNet50實(shí)現(xiàn)MNIST分類131
6.4.1　基于Keras搭建ResNet50網(wǎng)絡(luò)結(jié)構(gòu)131
6.4.2　對(duì)ResNet50網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練、評(píng)估與預(yù)測(cè)138
6.5　思考與練習(xí)142
第7章　遷移學(xué)習(xí)143
7.1　基于卷積網(wǎng)絡(luò)實(shí)現(xiàn)遷移學(xué)習(xí)143
7.2　InceptionV3實(shí)現(xiàn)遷移學(xué)習(xí)144
7.3　Xception實(shí)現(xiàn)遷移學(xué)習(xí)150
7.4　MobileNet實(shí)現(xiàn)遷移學(xué)習(xí)155
7.5　簡(jiǎn)單卷積網(wǎng)絡(luò)實(shí)現(xiàn)遷移學(xué)習(xí)164
7.6　思考與練習(xí)172
第8章　循環(huán)神經(jīng)網(wǎng)絡(luò)173
8.1　循環(huán)神經(jīng)網(wǎng)絡(luò)概述173
8.2　長(zhǎng)短期記憶網(wǎng)絡(luò)174
8.2.1　LSTM前向傳播175
8.2.2　LSTM反向傳播176
8.3　Reuters數(shù)據(jù)集176
8.3.1　Reuters數(shù)據(jù)集概述176
8.3.2　文本信息預(yù)處理177
8.4　簡(jiǎn)單RNN實(shí)現(xiàn)Reuters分類180
8.5　LSTM實(shí)現(xiàn)Reuters分類185
8.6　思考與練習(xí)190
第9章　強(qiáng)化學(xué)習(xí)191
9.1　初識(shí)強(qiáng)化學(xué)習(xí)191
9.1.1　什么是強(qiáng)化學(xué)習(xí)192
9.1.2　強(qiáng)化學(xué)習(xí)能解決什么類型的問(wèn)題193
9.1.3　強(qiáng)化學(xué)習(xí)如何解決問(wèn)題194
9.2　強(qiáng)化學(xué)習(xí)理論基礎(chǔ)194
9.2.1　基本組成元素194
9.2.2　基本模型196
9.2.3　價(jià)值函數(shù)198
9.3　求解強(qiáng)化學(xué)習(xí)—有模型199
9.3.1　動(dòng)態(tài)規(guī)劃與貝爾曼方程199
9.3.2　策略迭代200
9.3.3　值迭代202
9.3.4　值迭代算法實(shí)現(xiàn)格子世界202
9.4　求解強(qiáng)化學(xué)習(xí)—無(wú)模型208
9.4.1　蒙特卡羅算法208
9.4.2　時(shí)間差分法209
9.4.3　Q-learning算法210
9.4.4　Q-learning實(shí)現(xiàn)格子世界211
9.5　思考與練習(xí)213
第10章　深度強(qiáng)化學(xué)習(xí)214
10.1　深度強(qiáng)化學(xué)習(xí)框架214
10.2　TensorFlow編程216
10.2.1　TensorFlow的計(jì)算模型—計(jì)算圖216
10.2.2　TensorFlow的數(shù)據(jù)模型—張量219
10.2.3　TensorFlow的運(yùn)行模型—會(huì)話220
10.2.4　TensorFlow變量222
10.2.5　TensorFlow共享變量225
10.3　Gym的安裝及使用226
10.3.1　Gym的安裝226
10.3.2　Gym的使用227
10.4　基于值的算法更新229
10.4.1　Q-learning實(shí)現(xiàn)229
10.4.2　DQN算法原理233
10.4.3　DQN算法實(shí)現(xiàn)236
10.4.4　DDQN算法原理241
10.4.5　DDQN算法實(shí)現(xiàn)243
10.5　思考與練習(xí)248
第11章　基于策略的算法更新與趨勢(shì)250
11.1　策略梯度法250
11.1.1　策略目標(biāo)函數(shù)251
11.1.2　策略梯度定理252
11.1.3　策略梯度算法實(shí)現(xiàn)254
11.2　演員–評(píng)論家算法258
11.2.1　演員–評(píng)論家算法原理258
11.2.2　演員–評(píng)論家算法實(shí)現(xiàn)259
11.3　優(yōu)勢(shì)演員–評(píng)論家算法263
11.3.1　優(yōu)勢(shì)演員–評(píng)論家算法原理264
11.3.2　優(yōu)勢(shì)演員–評(píng)論家算法實(shí)現(xiàn)265
11.4　異步優(yōu)勢(shì)演員–評(píng)論家算法269
11.4.1　異步優(yōu)勢(shì)演員–評(píng)論家算法原理270
11.4.2　異步優(yōu)勢(shì)演員–評(píng)論家算法實(shí)現(xiàn)272
11.5　深度強(qiáng)化學(xué)習(xí)的發(fā)展趨勢(shì)278
11.6　思考與練習(xí)279