亚洲av成人无码久久精品,亚洲AV永久精品无码桃色,亚洲日韩精品无码一区二区三区

本書(shū)根據(jù)李宏毅老師機(jī)器學(xué)習(xí)公開(kāi)課中與深度學(xué)習(xí)相關(guān)的內(nèi)容編寫(xiě)而成，介紹了卷積神經(jīng)網(wǎng)絡(luò)、Transformer、生成模型、自監(jiān)督學(xué)習(xí)（包括 BERT 和 GPT）等深度學(xué)習(xí)常見(jiàn)算法，并講解了對(duì)抗攻擊、領(lǐng)域自適應(yīng)、強(qiáng)化學(xué)習(xí)、元學(xué)習(xí)、終身學(xué)習(xí)、網(wǎng)絡(luò)壓縮等深度學(xué)習(xí)相關(guān)的進(jìn)階算法. 在理論嚴(yán)謹(jǐn)?shù)幕A(chǔ)上，本書(shū)保留了公開(kāi)課中大量生動(dòng)有趣的例子，幫助讀者從生活化的角度理解深度學(xué)習(xí)的概念、建模過(guò)程和核心算法細(xì)節(jié).

王琦，
上海交通大學(xué)人工智能實(shí)驗(yàn)室博士研究生，碩士畢業(yè)于中國(guó)科學(xué)院大學(xué)．Datawhale成員，《Easy RL：強(qiáng)化學(xué)習(xí)教程》作者，英特爾邊緣計(jì)算創(chuàng)新大使，Hugging Face社區(qū)志愿者，AI TIME成員．主要研究方向?yàn)閺?qiáng)化學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)．曾獲中國(guó)光谷·華為杯第十九屆中國(guó)研究生數(shù)學(xué)建模競(jìng)賽二等獎(jiǎng)、中國(guó)大學(xué)生計(jì)算機(jī)設(shè)計(jì)大賽二等獎(jiǎng)、亞太地區(qū)大學(xué)生數(shù)學(xué)建模競(jìng)賽（APMCM）二等獎(jiǎng)和挑戰(zhàn)杯全國(guó)大學(xué)生課外學(xué)術(shù)科技作品競(jìng)賽江蘇省選拔賽二等獎(jiǎng)等榮譽(yù)，發(fā)表SCI/EI論文多篇．

楊毅遠(yuǎn)，
牛津大學(xué)計(jì)算機(jī)系博士研究生，碩士畢業(yè)于清華大學(xué)．Datawhale成員，《Easy RL：強(qiáng)化學(xué)習(xí)教程》作者．主要研究方向?yàn)闀r(shí)間序列、數(shù)據(jù)挖掘、智能傳感系統(tǒng)，深度學(xué)習(xí)．曾獲國(guó)家獎(jiǎng)學(xué)金、北京市優(yōu)秀畢業(yè)生、清華大學(xué)優(yōu)秀碩士學(xué)位論文、全國(guó)大學(xué)生智能汽車(chē)競(jìng)賽總冠軍等榮譽(yù)，發(fā)表SCI/EI論文多篇．

江季，
網(wǎng)易高級(jí)算法工程師，碩士畢業(yè)于北京大學(xué)．Datawhale成員，《Easy RL：強(qiáng)化學(xué)習(xí)教程》作者．主要研究方向?yàn)閺?qiáng)化學(xué)習(xí)、深度學(xué)習(xí)、大模型、機(jī)器人等．曾獲得國(guó)家獎(jiǎng)學(xué)金、上海市優(yōu)秀畢業(yè)生等榮譽(yù)，取得強(qiáng)化學(xué)習(xí)與游戲AI等相關(guān)專利多項(xiàng)．

第 1 章機(jī)器學(xué)習(xí)基礎(chǔ) 1
1.1 案例學(xué)習(xí) 2
1.2 線性模型 7
1.2.1 分段線性曲線 9
1.2.2 模型變形 17
1.2.3 機(jī)器學(xué)習(xí)框架 21
第 2 章實(shí)踐方法論 22
2.1 模型偏差 22
2.2 優(yōu)化問(wèn)題 23
2.3 過(guò)擬合 25
2.4 交叉驗(yàn)證 29
2.5 不匹配 30
參考資料 31
第 3 章深度學(xué)習(xí)基礎(chǔ) 32
3.1 局部最小值與鞍點(diǎn) 32
3.1.1 臨界點(diǎn)及其種類 32
3.1.2 判斷臨界值種類的方法 33
3.1.3 逃離鞍點(diǎn)的方法 37
3.2 批量和動(dòng)量 39
3.2.1 批量大小對(duì)梯度下降法的影響..40
3.2.2 動(dòng)量法 45
3.3 自適應(yīng)學(xué)習(xí)率 47
3.3.1 AdaGrad 50
3.3.2 RMSProp 53
3.3.3 Adam 54
3.4 學(xué)習(xí)率調(diào)度 54
3.5 優(yōu)化總結(jié) 56
3.6 分類 57
3.6.1 分類與回歸的關(guān)系 57
3.6.2 帶有 softmax 函數(shù)的分類 58
3.6.3 分類損失 59
3.7 批量歸一化 61
3.7.1 放入深度神經(jīng)網(wǎng)絡(luò)
3.7.2 測(cè)試時(shí)的批量歸一化 67
3.7.3 內(nèi)部協(xié)變量偏移 68
參考資料 69
第 4 章卷積神經(jīng)網(wǎng)絡(luò) 71
4.1 觀察 1：檢測(cè)模式不需要整幅圖像 .. 73
4.2 簡(jiǎn)化 1：感受野 74
4.3 觀察 2：同樣的模式可能出現(xiàn)在圖像的不同區(qū)域 .. 78
4.4 簡(jiǎn)化 2：共享參數(shù) 79
4.5 簡(jiǎn)化 1 和簡(jiǎn)化 2 的總結(jié) .. 81
4.6 觀察 3：下采樣不影響模式檢測(cè) .. 86
4.7 簡(jiǎn)化 3：匯聚 86
4.8 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用：下圍棋 .. 88
參考資料 91
第 5 章循環(huán)神經(jīng)網(wǎng)絡(luò) 92
5.1 獨(dú)熱編碼 93
5.2 什么是 RNN 94
5.3 RNN 架構(gòu) 96
5.4 其他 RNN 97
5.4.1 Elman 網(wǎng)絡(luò)和 Jordan 網(wǎng)絡(luò) 98
5.4.2 雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 98
5.4.3 LSTM 99
5.4.4 LSTM 舉例 101
5.4.5 LSTM 運(yùn)算示例 102
5.5 LSTM 網(wǎng)絡(luò)原理 105
5.6 RNN 的學(xué)習(xí)方式 109
5.7 如何解決 RNN 的梯度消失或梯度爆炸問(wèn)題..113
5.8 RNN 的其他應(yīng)用 114
5.8.1 多對(duì)一序列 114
5.8.2 多對(duì)多序列 115
5.8.3 序列到序列 117
參考資料 119
第 6 章自注意力機(jī)制 120
6.1 輸入是向量序列的情況.. 120
6.1.1 類型 1：輸入與輸出數(shù)量相同 122
6.1.2 類型 2：輸入是一個(gè)序列，輸出是一個(gè)標(biāo)簽 123
6.1.3 類型 3：序列到序列任務(wù) 124
6.2 自注意力機(jī)制的運(yùn)作原理..124
6.3 多頭自注意力 134
6.4 位置編碼 136
6.5 截?cái)嘧宰⒁饬? 138
6.6 對(duì)比自注意力與卷積神經(jīng)網(wǎng)絡(luò) 139
6.7 對(duì)比自注意力與循環(huán)神經(jīng)網(wǎng)絡(luò) 141
參考資料 143
第 7 章 Transformer 145
7.1 序列到序列模型 145
7.1.1 語(yǔ)音識(shí)別、機(jī)器翻譯與語(yǔ)音翻譯 145
7.1.2 語(yǔ)音合成 146
7.1.3 聊天機(jī)器人 147
7.1.4 問(wèn)答任務(wù) 147
7.1.5 句法分析 148
7.1.6 多標(biāo)簽分類 149
7.2 Transformer 結(jié)構(gòu) 149
7.3 Transformer 編碼器 151
7.4 Transformer 解碼器 154
7.4.1 自回歸解碼器 154
7.4.2 非自回歸解碼器 161
7.5 編碼器解碼器注意力 162
7.6 Transformer 的訓(xùn)練過(guò)程 ..
7.7 序列到序列模型訓(xùn)練常用技巧 166
7.7.1 復(fù)制機(jī)制 166
7.7.2 引導(dǎo)注意力 166
7.7.3 束搜索 167
7.7.4 加入噪聲 168
7.7.5 使用強(qiáng)化學(xué)習(xí)訓(xùn)練 168
7.7.6 計(jì)劃采樣 169
參考資料 170
第 8 章生成模型 171
8.1 生成對(duì)抗網(wǎng)絡(luò) 171
8.1.1 生成器 171
8.1.2 判別器 175
8.2 生成器與判別器的訓(xùn)練過(guò)程 176
8.3 GAN 的應(yīng)用案例 178
8.4 GAN 的理論介紹 180
8.5 WGAN 算法 183
8.6 GAN 訓(xùn)練的難點(diǎn)與技巧 .. 188
8.7 GAN 的性能評(píng)估方法 190
8.8 條件型生成 194
8.9 CycleGAN 196
參考資料 199
第 9 章擴(kuò)散模型 201
9.1 擴(kuò)散模型生成圖片的過(guò)程..201
9.2 去噪模塊 202
9.3 訓(xùn)練噪聲預(yù)測(cè)器 203
第 10 章自監(jiān)督學(xué)習(xí) 206
10.1 BERT 207
10.1.1 BERT 的使用方式 211
10.1.2 BERT 有用的原因 221
10.1.3 BERT 的變體 227
10.2 GPT 230
參考資料 234
第 11 章自編碼器 235
11.1 自編碼器的概念 235
11.2 為什么需要自編碼器 237
11.3 去噪自編碼器 238
11.4 自編碼器應(yīng)用之特征解耦 239
11.5 自編碼器應(yīng)用之離散隱表征 242
11.6 自編碼器的其他應(yīng)用 245
第 12 章對(duì)抗攻擊 246
12.1 對(duì)抗攻擊簡(jiǎn)介 246
12.2 如何進(jìn)行網(wǎng)絡(luò)攻擊 248
12.3 快速梯度符號(hào)法 251
12.4 白箱攻擊與黑箱攻擊 252
12.5 其他模態(tài)數(shù)據(jù)被攻擊案例 256
12.6 現(xiàn)實(shí)世界中的攻擊 256
12.7 防御方式中的被動(dòng)防御 260
12.8 防御方式中的主動(dòng)防御 262
第 13 章遷移學(xué)習(xí)
13.1 領(lǐng)域偏移
13.2 領(lǐng)域自適應(yīng) 265
13.3 領(lǐng)域泛化 271
參考資料 272
第 14 章強(qiáng)化學(xué)習(xí) 273
14.1 強(qiáng)化學(xué)習(xí)的應(yīng)用 274
14.1.1 玩電子游戲 274
14.1.2 下圍棋 276
14.2 強(qiáng)化學(xué)習(xí)框架 276
14.2.1 第 1 步：定義函數(shù) 277
14.2.2 第 2 步：定義損失 278
14.2.3 第 3 步：優(yōu)化 278
14.3 評(píng)價(jià)動(dòng)作的標(biāo)準(zhǔn) 282
14.3.1 使用即時(shí)獎(jiǎng)勵(lì)作為評(píng)價(jià)標(biāo)準(zhǔn) 283
14.3.2 使用累積獎(jiǎng)勵(lì)作為評(píng)價(jià)標(biāo)準(zhǔn) 283
14.3.3 使用折扣累積獎(jiǎng)勵(lì)作為評(píng)價(jià)標(biāo)準(zhǔn)..284
14.3.4 使用折扣累積獎(jiǎng)勵(lì)減去基線作為評(píng)價(jià)標(biāo)準(zhǔn).. 285
14.3.5 Actor-Critic 288
14.3.6 優(yōu)勢(shì) Actor-Critic 293
參考資料 294
第 15 章元學(xué)習(xí) 295
15.1 元學(xué)習(xí)的概念 295
15.2 元學(xué)習(xí)的三個(gè)步驟 296
15.3 元學(xué)習(xí)與機(jī)器學(xué)習(xí) 299
15.4 元學(xué)習(xí)的實(shí)例算法 301
15.5 元學(xué)習(xí)的應(yīng)用 305
參考資料 306
第 16 章終身學(xué)習(xí) 307
16.1 災(zāi)難性遺忘 307
16.2 終身學(xué)習(xí)的評(píng)估方法 311
16.3 終身學(xué)習(xí)問(wèn)題的主要解法 312
第 17 章網(wǎng)絡(luò)壓縮 316
17.1 網(wǎng)絡(luò)剪枝 316
17.2 知識(shí)蒸餾 321
17.3 參數(shù)量化 324
17.4 網(wǎng)絡(luò)架構(gòu)設(shè)計(jì) 325
17.5 動(dòng)態(tài)計(jì)算 329
參考資料 332
第 18 章可解釋性機(jī)器學(xué)習(xí) 333
18.1 可解釋性人工智能的重要性 333
18.2 決策樹(shù)模型的可解釋性 334
18.3 可解釋性機(jī)器學(xué)習(xí)的目標(biāo) 335
18.4 可解釋性機(jī)器學(xué)習(xí)中的局部解釋 335
18.5 可解釋性機(jī)器學(xué)習(xí)中的全局解釋 342
18.6 擴(kuò)展與小結(jié) 345
參考資料 345
第 19 章 ChatGPT 346
19.1 ChatGPT 簡(jiǎn)介和功能 346
19.2 對(duì) ChatGPT 的誤解 346
19.3 ChatGPT 背后的關(guān)鍵技術(shù)預(yù)訓(xùn)練..349
19.4 ChatGPT 帶來(lái)的研究問(wèn)題 352
索引 354

你還可能感興趣

我要評(píng)論