目 錄
第1篇 基礎(chǔ)知識(shí)
第1章 人工智能和PyTorch2
1.1 人工智能和深度學(xué)習(xí)2
1.1.1 人工智能2
1.1.2 深度學(xué)習(xí)3
1.2 深度學(xué)習(xí)框架5
1.3 PyTorch7
1.3.1 PyTorch簡(jiǎn)介7
1.3.2 PyTorch的應(yīng)用領(lǐng)域9
1.3.3 PyTorch的應(yīng)用前景10
1.4 小結(jié)12
第2章 開(kāi)發(fā)環(huán)境13
2.1 PyTorch的安裝13
2.2 NumPy16
2.2.1 NumPy的安裝與查看17
2.2.2 NumPy對(duì)象17
2.2.3 數(shù)組21
2.2.4 數(shù)學(xué)計(jì)算26
2.3 Matplotlib32
2.3.1 Matplotlib的安裝和簡(jiǎn)介33
2.3.2 Matplotlib Figure圖形對(duì)象35
2.4 Scikit-Learn47
2.5 小結(jié)48
第3章 PyTorch入門(mén)49
3.1 PyTorch的模塊49
3.1.1 主要模塊49
3.1.2 輔助模塊53
3.2 張量54
3.2.1 張量的數(shù)據(jù)類(lèi)型55
3.2.2 創(chuàng)建張量56
3.2.3 張量存儲(chǔ)61
3.2.4 維度操作63
3.2.5 索引和切片65
3.2.6 張量運(yùn)算67
3.3 torch.nn模塊76
3.3.1 卷積層76
3.3.2 池化層80
3.3.3 激活層87
3.3.4 全連接層91
3.4 自動(dòng)求導(dǎo)92
3.5 小結(jié)95
第4章 卷積網(wǎng)絡(luò)96
4.1 卷積網(wǎng)絡(luò)的原理96
4.1.1 卷積運(yùn)算96
4.1.2 卷積網(wǎng)絡(luò)與深度學(xué)習(xí)98
4.2 NumPy建立神經(jīng)網(wǎng)絡(luò)99
4.3 PyTorch建立神經(jīng)網(wǎng)絡(luò)101
4.3.1 建立兩層神經(jīng)網(wǎng)絡(luò)101
4.3.2 神經(jīng)網(wǎng)絡(luò)參數(shù)更新102
4.3.3 自定義PyTorch的nn模塊103
4.3.4 權(quán)重共享105
4.4 全連接網(wǎng)絡(luò)107
4.5 小結(jié)111
第5章 經(jīng)典神經(jīng)網(wǎng)絡(luò)112
5.1 VGGNet112
5.1.1 VGGNet的結(jié)構(gòu)112
5.1.2 實(shí)現(xiàn)過(guò)程114
5.1.3 VGGNet的特點(diǎn)115
5.1.4 查看PyTorch網(wǎng)絡(luò)結(jié)構(gòu)116
5.2 ResNet118
5.2.1 ResNet的結(jié)構(gòu)118
5.2.2 殘差模塊的實(shí)現(xiàn)120
5.2.3 ResNet的實(shí)現(xiàn)122
5.2.4 ResNet要解決的問(wèn)題126
5.3 XceptionNet128
5.3.1 XceptionNet的結(jié)構(gòu)128
5.3.2 XceptionNet的實(shí)現(xiàn)131
5.4 小結(jié)135
第6章 模型的保存和調(diào)用136
6.1 字典狀態(tài)（state_dict）136
6.2 保存和加載模型138
6.2.1 使用ate_dict加載模型138
6.2.2 保存和加載完整模型139
6.2.3 保存和加載Checkpoint用于推理、繼續(xù)訓(xùn)練139
6.3 一個(gè)文件保存多個(gè)模型140
6.4 通過(guò)設(shè)備保存和加載模型141
6.5 小結(jié)143
第7章 網(wǎng)絡(luò)可視化144
7.1 HiddenLayer可視化144
7.2 PyTorchViz可視化146
7.3 TensorboardX可視化149
7.3.1 簡(jiǎn)介和安裝149
7.3.2 使用TensorboardX150
7.3.3 添加數(shù)字151
7.3.4 添加圖片152
7.3.5 添加直方圖153
7.3.6 添加嵌入向量154
7.4 小結(jié)156
第8章 數(shù)據(jù)加載和預(yù)處理157
8.1 加載PyTorch庫(kù)數(shù)據(jù)集157
8.2 加載自定義數(shù)據(jù)集159
8.2.1 下載并查看數(shù)據(jù)集159
8.2.2 定義數(shù)據(jù)集類(lèi)161
8.3 預(yù)處理164
8.4 小結(jié)168
第9章 數(shù)據(jù)增強(qiáng)169
9.1 數(shù)據(jù)增強(qiáng)的概念169
9.1.1 常見(jiàn)的數(shù)據(jù)增強(qiáng)方法170
9.1.2 常用的數(shù)據(jù)增強(qiáng)庫(kù)171
9.2 數(shù)據(jù)增強(qiáng)的實(shí)現(xiàn)172
9.2.1 中心裁剪173
9.2.2 隨機(jī)裁剪174
9.2.3 縮放175
9.2.4 水平翻轉(zhuǎn)176
9.2.5 垂直翻轉(zhuǎn)177
9.2.6 隨機(jī)角度旋轉(zhuǎn)178
9.2.7 色度、亮度、飽和度、對(duì)比度的變化179
9.2.8 隨機(jī)灰度化180
9.2.9 將圖形加上padding181
9.2.10 指定區(qū)域擦除182
9.2.11 伽馬變換183
9.3 小結(jié)184
第2篇 高級(jí)應(yīng)用
第10章 圖像分類(lèi)186
10.1 CIFAR10數(shù)據(jù)分類(lèi)186
10.1.1 定義網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)187
10.1.2 驗(yàn)證訓(xùn)練結(jié)果192
10.2 數(shù)據(jù)集劃分193
10.3 貓狗分類(lèi)實(shí)戰(zhàn)195
10.3.1 貓狗數(shù)據(jù)預(yù)處理195
10.3.2 建立網(wǎng)絡(luò)貓狗分類(lèi)196
10.4 小結(jié)199
第11章 遷移學(xué)習(xí)200
11.1 定義和方法200
11.2 螞蟻和蜜蜂分類(lèi)實(shí)戰(zhàn)202
11.2.1 加載數(shù)據(jù)202
11.2.2 定義訓(xùn)練方法204
11.2.3 可視化預(yù)測(cè)結(jié)果205
11.2.4 遷移學(xué)習(xí)方法一：微調(diào)網(wǎng)絡(luò)206
11.2.5 遷移學(xué)習(xí)方法二：特征提取器208
11.3 小結(jié)209
第12章 人臉檢測(cè)和識(shí)別210
12.1 人臉檢測(cè)210
12.1.1 定義和研究現(xiàn)狀210
12.1.2 經(jīng)典算法213
12.1.3 應(yīng)用領(lǐng)域216
12.2 人臉識(shí)別217
12.2.1 定義和研究現(xiàn)狀217
12.2.2 經(jīng)典算法220
12.2.3 應(yīng)用領(lǐng)域221
12.3 人臉檢測(cè)與識(shí)別實(shí)戰(zhàn)222
12.3.1 Dlib人臉檢測(cè)222
12.3.2 基于MTCNN的人臉識(shí)別225
12.4 小結(jié)227
第13章 生成對(duì)抗網(wǎng)絡(luò)228
13.1 生成對(duì)抗網(wǎng)絡(luò)簡(jiǎn)介228
13.2 數(shù)學(xué)模型230
13.3 生成手寫(xiě)體數(shù)字圖片實(shí)戰(zhàn)233
13.3.1 基本網(wǎng)絡(luò)結(jié)構(gòu)233
13.3.2 準(zhǔn)備數(shù)據(jù)234
13.3.3 定義網(wǎng)絡(luò)和訓(xùn)練235
13.3.4 生成結(jié)果分析237
13.4 生成人像圖片實(shí)戰(zhàn)238
13.4.1 DCGAN簡(jiǎn)介239
13.4.2 數(shù)據(jù)準(zhǔn)備239
13.4.3 生成對(duì)抗網(wǎng)絡(luò)的實(shí)現(xiàn)241
13.5 小結(jié)250
第14章 目標(biāo)檢測(cè)251
14.1 目標(biāo)檢測(cè)概述251
14.1.1 傳統(tǒng)目標(biāo)檢測(cè)算法的研究現(xiàn)狀252
14.1.2 深度學(xué)習(xí)目標(biāo)檢測(cè)算法的研究現(xiàn)狀252
14.1.3 應(yīng)用領(lǐng)域253
14.2 檢測(cè)算法模型253
14.2.1 傳統(tǒng)的目標(biāo)檢測(cè)模型253
14.2.2 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型255
14.3 目標(biāo)檢測(cè)的基本概念259
14.3.1 IoU259
14.3.2 NMS261
14.4 Faster R-CNN目標(biāo)檢測(cè)264
14.4.1 網(wǎng)絡(luò)原理265
14.4.2 實(shí)戰(zhàn)269
14.5 小結(jié)273
第15章 圖像風(fēng)格遷移274
15.1 風(fēng)格遷移概述274
15.2 固定風(fēng)格固定內(nèi)容的遷移277
15.2.1 固定風(fēng)格固定內(nèi)容遷移的原理277
15.2.2 PyTorch實(shí)現(xiàn)固定風(fēng)格遷移280
15.3 快速風(fēng)格遷移288
15.3.1 快速遷移模型的原理288
15.3.2 PyTorch實(shí)現(xiàn)快速風(fēng)格遷移290
15.4 小結(jié)297
第16章 ViT298
16.1 ViT詳解298
16.1.1 Transformer模型中的Attention注意力機(jī)制298
16.1.2 視覺(jué)Transformer模型詳解302
16.2 ViT圖像分類(lèi)實(shí)戰(zhàn)305
16.2.1 數(shù)據(jù)準(zhǔn)備305
16.2.2 定義ViT模型306
16.2.3 定義工具函數(shù)311
16.2.4 定義訓(xùn)練過(guò)程314
16.2.5 運(yùn)行結(jié)果317
16.3 小結(jié)318
參考文獻(xiàn)319