定 價(jià):48 元
叢書(shū)名:人工智能前沿技術(shù)叢書(shū)
- 作者:焦李成
- 出版時(shí)間:2023/12/1
- ISBN:9787560669571
- 出 版 社:西安電子科技大學(xué)出版社
- 中圖法分類(lèi):TP181
- 頁(yè)碼:256
- 紙張:
- 版次:1
- 開(kāi)本:16開(kāi)
為了適應(yīng)和持續(xù)推動(dòng)人工智能學(xué)科和多學(xué)科交叉領(lǐng)域的新發(fā)展,本書(shū)遵循“理論化—典型化—應(yīng)用化”的思路,秉持以理論學(xué)習(xí)和工程應(yīng)用為主要背景論述深度學(xué)習(xí)基礎(chǔ)理論、方法和應(yīng)用的宗旨,結(jié)合團(tuán)隊(duì)多年領(lǐng)域研究和課堂教學(xué)實(shí)踐,從深度神經(jīng)網(wǎng)絡(luò)的核心結(jié)構(gòu)和原理出發(fā),闡述了典型神經(jīng)網(wǎng)絡(luò)及其實(shí)際應(yīng)用。
全書(shū)分為四部分,共16章。其中,深度學(xué)習(xí)理論概述部分(第1章)分析了人工智能的歷史、發(fā)展與現(xiàn)狀;深度學(xué)習(xí)模型基礎(chǔ)部分(第2~8章)從神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)出發(fā),討論了人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、原理、性質(zhì)與典型應(yīng)用,并依序詳細(xì)回顧了反向傳播算法、卷積神經(jīng)網(wǎng)絡(luò)、自編碼網(wǎng)絡(luò)、Hopfield神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等幾類(lèi)基本網(wǎng)絡(luò)的功能、結(jié)構(gòu)、算法與典型應(yīng)用; 深度學(xué)習(xí)進(jìn)階部分(第9~14章)分別對(duì)殘差網(wǎng)絡(luò)、生成式對(duì)抗網(wǎng)絡(luò)、深度強(qiáng)化學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)、多尺度深度幾何網(wǎng)絡(luò)、Transformer網(wǎng)絡(luò)進(jìn)行了介紹;
深度學(xué)習(xí)實(shí)戰(zhàn)和展望部分(第15和16章)簡(jiǎn)述了幾種深度學(xué)習(xí)實(shí)驗(yàn)平臺(tái)、工具的實(shí)例與方法,并在深度學(xué)習(xí)總結(jié)與展望中對(duì)深度學(xué)習(xí)的發(fā)展歷程進(jìn)行了回顧,展望了深度學(xué)習(xí)未來(lái)的發(fā)展方向。
本書(shū)可用于人工智能、智能科學(xué)與技術(shù)、大數(shù)據(jù)科學(xué)與技術(shù)、智能機(jī)器人、電子科學(xué)與技術(shù)、人工智能技術(shù)服務(wù)等領(lǐng)域相關(guān)專(zhuān)業(yè)本科生或研究生的實(shí)踐教學(xué),也可供相關(guān)專(zhuān)業(yè)技術(shù)人員參考。
受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā),人工神經(jīng)網(wǎng)絡(luò)通過(guò)模擬人腦工作的分布式協(xié)同并行機(jī)制來(lái)處理復(fù)雜任務(wù),成為人工智能領(lǐng)域重要的研究方向。為了提升神經(jīng)網(wǎng)絡(luò)的“智力水平”,將神經(jīng)網(wǎng)絡(luò)由“淺”做“深”,網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)成為領(lǐng)域中重要的研究課題。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)局部連接、權(quán)值共享等思想約減參數(shù)量,擴(kuò)展了網(wǎng)絡(luò)深度,開(kāi)啟了“深度學(xué)習(xí)時(shí)代”,F(xiàn)在,深度學(xué)習(xí)指使用深度神經(jīng)網(wǎng)絡(luò), 通過(guò)訓(xùn)練從大量數(shù)據(jù)中學(xué)習(xí)知識(shí),它是人工智能領(lǐng)域最熱門(mén)的研究方向。
深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)范式中,一方面, 通過(guò)多通路、并行化的網(wǎng)絡(luò)設(shè)計(jì)來(lái)削弱單純?cè)黾印吧疃取睅?lái)的種種問(wèn)題,將塔式結(jié)構(gòu)、對(duì)稱(chēng)性等融入網(wǎng)絡(luò)的設(shè)計(jì)過(guò)程中;另一方面, 深度生成模型(如生成式對(duì)抗網(wǎng)絡(luò)和變分自編碼器等)可以通過(guò)生成訓(xùn)練數(shù)據(jù)集的概率密度函數(shù)來(lái)實(shí)現(xiàn)數(shù)據(jù)擴(kuò)充。深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)優(yōu)勢(shì)互補(bǔ),形成了更接近人類(lèi)思維方式的深度強(qiáng)化學(xué)習(xí),為復(fù)雜系統(tǒng)的感知決策問(wèn)題提供了解決思路。圖域信息處理中的圖神經(jīng)網(wǎng)絡(luò)對(duì)于非歐幾里得數(shù)據(jù)的圖譜結(jié)構(gòu)數(shù)據(jù)能夠很好地進(jìn)行表示,同時(shí)具有較好的性能與可解釋性,也走向了和深度學(xué)習(xí)的融合之路。
在人工智能領(lǐng)域的深度學(xué)習(xí)研究如火如荼展開(kāi)的同時(shí),它在交叉領(lǐng)域也得到了廣泛應(yīng)用:深度神經(jīng)網(wǎng)絡(luò)在物理、醫(yī)學(xué)、天文、航空航天等學(xué)科中成為新的研究工具,并催生了一批新方法和新成果。從未有如此多領(lǐng)域的研究人員和行業(yè)從業(yè)人員都涉獵神經(jīng)網(wǎng)絡(luò)的拓展應(yīng)用,從未有如此多的年輕學(xué)生對(duì)神經(jīng)網(wǎng)絡(luò)投入學(xué)習(xí)熱情。
為了適應(yīng)和持續(xù)推動(dòng)學(xué)科和領(lǐng)域的新發(fā)展,本團(tuán)隊(duì)秉持以理論學(xué)習(xí)和工程應(yīng)用為主要背景論述深度學(xué)習(xí)基礎(chǔ)理論、方法和應(yīng)用的宗旨,結(jié)合團(tuán)隊(duì)多年領(lǐng)域研究和課堂教學(xué)實(shí)踐,編寫(xiě)了本書(shū)。本書(shū)從深度學(xué)習(xí)的模型基礎(chǔ)出發(fā), 闡述了深度學(xué)習(xí)的范疇、基本原理等內(nèi)容, 匯集了一批經(jīng)典的、目前仍在神經(jīng)科學(xué)研究領(lǐng)域中得到廣泛應(yīng)用的技術(shù)方法,以及一些當(dāng)前正在興起的、已處于應(yīng)用階段或正待完善的新的研究技術(shù)。本書(shū)的編寫(xiě)遵循“理論化—典型化—應(yīng)用化”的思路,章節(jié)安排都從深度神經(jīng)網(wǎng)絡(luò)的核心結(jié)構(gòu)和原理出發(fā),引出典型神經(jīng)網(wǎng)絡(luò),最后給出實(shí)際應(yīng)用。
本書(shū)的出版離不開(kāi)團(tuán)隊(duì)多位老師和研究生的支持與幫助,感謝團(tuán)隊(duì)中侯彪、劉靜、公茂果、王爽、張向榮、吳建設(shè)、緱水平、梁雪峰、尚榮華、劉波、劉若辰等教授以及馬晶晶、馬文萍、白靜、朱虎明、田小林、張小華、曹向海等副教授對(duì)我們的關(guān)心支持與辛勤付出。感謝張丹、唐旭、任博、劉旭、馮志璽等老師在學(xué)術(shù)交流過(guò)程中無(wú)私地付出。
感謝西安電子科技大學(xué)智能感知與圖像理解教育部重點(diǎn)實(shí)驗(yàn)室、智能感知與計(jì)算國(guó)際合作聯(lián)合實(shí)驗(yàn)室、 智能感知與計(jì)算國(guó)際聯(lián)合研究中心、教育部創(chuàng)新團(tuán)隊(duì)和國(guó)家“111”創(chuàng)新引智基地的支持;同時(shí),我們的工作也得到了國(guó)家自然科學(xué)基金創(chuàng)新研究群體基金(61621005)、國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目(61836009)、國(guó)家自然科學(xué)基金重大研究計(jì)劃(91438201)、國(guó)防科技173計(jì)劃項(xiàng)目、國(guó)家自然科學(xué)基金(62076192、61902298、61906150、62006177)、教育部規(guī)劃項(xiàng)目、教育部“111”引智計(jì)劃(B07048)、教育部長(zhǎng)江學(xué)者創(chuàng)新研究團(tuán)隊(duì)計(jì)劃(IRT 15R53)、陜西省創(chuàng)新團(tuán)隊(duì)(2020TD017)、陜西省重點(diǎn)研發(fā)計(jì)劃(2019ZDLGY0306)等科研項(xiàng)目的支持,特此感謝。還要特別感謝西安電子科技大學(xué)出版社的大力支持和幫助,衷心感謝毛紅兵老師、 高維岳老師及其他編輯老師付出的辛勤勞動(dòng)與努力, 還要感謝書(shū)中所有被引用文獻(xiàn)的作者。
20世紀(jì)90年代初我們出版了《神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論》《神經(jīng)網(wǎng)絡(luò)計(jì)算》《神經(jīng)網(wǎng)絡(luò)的應(yīng)用與實(shí)現(xiàn)》等系列專(zhuān)著。三十多年來(lái)人工神經(jīng)網(wǎng)絡(luò)已經(jīng)取得了長(zhǎng)足的進(jìn)步,本書(shū)在之前的研究基礎(chǔ)上對(duì)近年來(lái)神經(jīng)網(wǎng)絡(luò)的發(fā)展現(xiàn)狀及研究趨勢(shì)進(jìn)行概括和闡述,取材和安排完全源于作者的偏好。由于水平有限,書(shū)中不妥之處在所難免,懇請(qǐng)廣大讀者批評(píng)指正。
作 者
2023年8月于西安電子科技大學(xué)
第1章 緒論 1
1.1 人工智能 1
1.1.1 人工智能 1
1.1.2 人工神經(jīng)網(wǎng)絡(luò)與人工智能的區(qū)別 8
1.1.3 人工神經(jīng)網(wǎng)絡(luò)與人工智能的互補(bǔ)性 9
1.2 機(jī)器學(xué)習(xí) 10
1.2.1 第一次研究高潮 10
1.2.2 第二次研究高潮 15
1.2.3 神經(jīng)網(wǎng)絡(luò): 最近30年 18
1.3 深度學(xué)習(xí) 23
本章參考文獻(xiàn) 23
第2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 26
2.1 神經(jīng)元 26
2.1.1 生物神經(jīng)元 26
2.1.2 McCullochPitts神經(jīng)元 27
2.2 卷積層 33
2.3 池化層 36
2.4 正則化 38
2.5 梯度下降法 38
2.5.1 線性單元的梯度下降法 38
2.5.2 隨機(jī)梯度下降法 41
本章參考文獻(xiàn) 42
第3章 反向傳播算法 43
3.1 反向傳播機(jī)制 43
3.2 反向傳播算法性能分析 47
3.3 改進(jìn)的反向傳播算法 48
3.3.1 帶動(dòng)量項(xiàng)自適應(yīng)變步長(zhǎng)BP算法(ABPM) 48
3.3.2 同倫BP算法(HBP) 49
3.3.3 LMBP算法 49
3.4 反向傳播算法實(shí)現(xiàn)的幾點(diǎn)說(shuō)明 50
本章參考文獻(xiàn) 51
第4章 卷積神經(jīng)網(wǎng)絡(luò)(一) 52
4.1 結(jié)構(gòu)和學(xué)習(xí)算法 52
4.1.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 52
4.1.2 卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 54
4.2 兩種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò) 55
4.2.1 LeNet 55
4.2.2 AlexNet 56
4.3 案例與實(shí)踐 57
4.3.1 圖像語(yǔ)義分割 57
4.3.2 目標(biāo)檢測(cè) 59
4.3.3 目標(biāo)跟蹤 61
本章參考文獻(xiàn) 63
第5章 卷積神經(jīng)網(wǎng)絡(luò)(二) 64
5.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和原理 64
5.1.1 卷積運(yùn)算 64
5.1.2 池化操作 65
5.1.3 激活函數(shù) 66
5.1.4 損失函數(shù) 66
5.2 幾種經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò) 66
5.2.1 VGG 66
5.2.2 GoogLeNet 68
5.3 案例與實(shí)踐 71
5.3.1 圖像分類(lèi) 71
5.3.2 圖像分割 72
5.3.3 目標(biāo)檢測(cè) 73
本章參考文獻(xiàn) 76
第6章 自編碼網(wǎng)絡(luò) 77
6.1 自編碼網(wǎng)絡(luò)的結(jié)構(gòu) 77
6.2 自編碼網(wǎng)絡(luò)的原理 78
6.3 幾種經(jīng)典的自編碼網(wǎng)絡(luò) 79
6.3.1 稀疏自編碼(SAE) 79
6.3.2 收縮自編碼(CAE) 80
6.3.3 棧式自編碼(SA) 81
6.4 案例與實(shí)踐 82
6.4.1 圖像分類(lèi) 82
6.4.2 目標(biāo)檢測(cè) 84
6.4.3 目標(biāo)跟蹤 86
本章參考文獻(xiàn) 87
第7章 Hopfield神經(jīng)網(wǎng)絡(luò) 89
7.1 Hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 89
7.2 Hopfield反饋神經(jīng)網(wǎng)絡(luò)的原理 91
7.3 Hopfield反饋神經(jīng)網(wǎng)絡(luò)的非線性動(dòng)力學(xué) 95
7.3.1 狀態(tài)軌跡為網(wǎng)絡(luò)的穩(wěn)定點(diǎn) 96
7.3.2 狀態(tài)軌跡為極限環(huán) 97
7.3.3 狀態(tài)軌跡為混沌狀態(tài) 98
7.3.4 狀態(tài)軌跡發(fā)散 98
7.4 案例與實(shí)踐 98
7.4.1 TSP問(wèn)題 98
7.4.2 圖像分割 100
7.4.3 人臉識(shí)別 101
本章參考文獻(xiàn) 104
第8章 循環(huán)神經(jīng)網(wǎng)絡(luò) 106
8.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 106
8.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的原理 108
8.3 幾種經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò) 109
8.3.1 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM) 109
8.3.2 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(BiRNN) 110
8.3.3 深度雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Deep BiRNN) 111
8.4 案例與實(shí)踐 112
8.4.1 自動(dòng)問(wèn)答 112
8.4.2 文本摘要生成 114
8.4.3 目標(biāo)跟蹤 117
本章參考文獻(xiàn) 119
第9章 殘差網(wǎng)絡(luò) 121
9.1 結(jié)構(gòu)和原理 121
9.1.1 殘差網(wǎng)絡(luò)的結(jié)構(gòu) 121
9.1.2 殘差網(wǎng)絡(luò)的原理 123
9.2 幾種經(jīng)典的殘差網(wǎng)絡(luò) 124
9.2.1 寬剩余網(wǎng)絡(luò) 124
9.2.2 深度殘差金字塔網(wǎng)絡(luò) 127
9.2.3 空洞殘差網(wǎng)絡(luò) 131
9.3 案例與實(shí)踐 133
9.3.1 圖像分類(lèi) 133
9.3.2 圖像分割 135
9.3.3 目標(biāo)檢測(cè) 138
本章參考文獻(xiàn) 139
第10章 生成式對(duì)抗網(wǎng)絡(luò) 141
10.1 結(jié)構(gòu)和原理 141
10.1.1 生成式對(duì)抗網(wǎng)絡(luò)的原理 141
10.1.2 生成式對(duì)抗網(wǎng)絡(luò)的結(jié)構(gòu) 141
10.2 幾種經(jīng)典的生成式對(duì)抗網(wǎng)絡(luò) 145
10.2.1 信息最大化生成對(duì)抗網(wǎng)絡(luò)(InfoGAN) 145
10.2.2 條件生成對(duì)抗網(wǎng)絡(luò)(CGAN) 146
10.2.3 深度卷積生成對(duì)抗網(wǎng)絡(luò)(DCGAN) 146
10.2.4 循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)(CycleGAN) 147
10.3 案例與實(shí)踐 149
10.3.1 數(shù)據(jù)增強(qiáng) 149
10.3.2 圖像補(bǔ)全(修復(fù)) 150
10.3.3 文本翻譯成圖像 152
本章參考文獻(xiàn) 154
第11章 深度強(qiáng)化學(xué)習(xí) 156
11.1 結(jié)構(gòu)和原理 156
11.1.1 深度強(qiáng)化學(xué)習(xí)的結(jié)構(gòu) 156
11.1.2 深度強(qiáng)化學(xué)習(xí)的原理 157
11.2 幾種經(jīng)典的深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò) 160
11.2.1 基于卷積神經(jīng)網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí) 160
11.2.2 基于遞歸神經(jīng)網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí) 162
11.3 案例與實(shí)踐 164
11.3.1 玩Atari游戲 164
11.3.2 目標(biāo)檢測(cè) 165
11.3.3 目標(biāo)跟蹤 167
本章參考文獻(xiàn) 171
第12章 圖神經(jīng)網(wǎng)絡(luò) 172
12.1 結(jié)構(gòu)和原理 172
12.1.1 圖神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 172
12.1.2 圖神經(jīng)網(wǎng)絡(luò)的原理 173
12.2 幾種經(jīng)典的圖神經(jīng)網(wǎng)絡(luò) 176
12.2.1 基于空間域的圖卷積神經(jīng)網(wǎng)絡(luò) 177
12.2.2 基于譜域的圖卷積神經(jīng)網(wǎng)絡(luò) 181
12.2.3 圖注意力網(wǎng)絡(luò) 182
12.3 案例與實(shí)踐 184
12.3.1 圖像分類(lèi) 184
12.3.2 目標(biāo)檢測(cè) 187
12.3.3 語(yǔ)義分割 190
本章參考文獻(xiàn) 191
第13章 多尺度深度幾何網(wǎng)絡(luò) 194
13.1 多尺度分析 194
13.1.1 小波神經(jīng)網(wǎng)絡(luò) 195
13.1.2 多小波網(wǎng)絡(luò) 196
13.2 多尺度幾何網(wǎng)絡(luò) 201
13.2.1 方向多分辨脊波網(wǎng)絡(luò) 202
13.2.2 深度曲線波散射網(wǎng)絡(luò) 209
13.2.3 輪廓波卷積神經(jīng)網(wǎng)絡(luò) 211
13.3 案例與實(shí)踐 213
13.3.1 極化SAR圖像分類(lèi) 213
13.3.2 SAR圖像目標(biāo)檢測(cè) 216
本章參考文獻(xiàn) 218
第14章 Transformer網(wǎng)絡(luò) 221
14.1 Transformer基礎(chǔ)知識(shí) 221
14.1.1 Transformer的介紹 221
14.1.2 Transformer的結(jié)構(gòu)和原理 221
14.2 常見(jiàn)的Transformer變體 225
14.2.1 基于模型架構(gòu)的改進(jìn) 226
14.2.2 基于其他模塊級(jí)的改進(jìn) 227
14.3 案例與實(shí)踐 228
14.3.1 圖像分類(lèi) 228
14.3.2 圖像分割 229
14.3.3 目標(biāo)檢測(cè) 232
本章參考文獻(xiàn) 233
第15章 深度學(xué)習(xí)實(shí)驗(yàn)平臺(tái) 235
15.1 Pytorch 235
15.1.1 平臺(tái)介紹與應(yīng)用優(yōu)勢(shì) 235
15.1.2 常用的工具包 236
15.1.3 編碼實(shí)例 236
15.2 Tensorflow 239
15.2.1 平臺(tái)介紹與應(yīng)用優(yōu)勢(shì) 239
15.2.2 編碼實(shí)例 240
15.2.3 Keras API接口實(shí)例 242
第16章 總結(jié)與展望 244
16.1 深度學(xué)習(xí)的發(fā)展歷程 244
16.2 深度學(xué)習(xí)的未來(lái)方向 246
本章參考文獻(xiàn) 247