第1章　強(qiáng)化學(xué)習(xí)概述 001
1.1　什么是強(qiáng)化學(xué)習(xí) 002
1.1.1　初識強(qiáng)化學(xué)習(xí) 002
1.1.2　強(qiáng)化學(xué)習(xí)的關(guān)鍵要素 005
1.1.3　監(jiān)督、無監(jiān)督與強(qiáng)化學(xué)習(xí) 007
1.2　三條主線 009
1.2.1　試錯 009
1.2.2　動態(tài)規(guī)劃 011
1.2.3　時序差分 012
1.3　強(qiáng)化學(xué)習(xí)的方法與應(yīng)用 014
1.3.1　強(qiáng)強(qiáng)聯(lián)合之深度強(qiáng)化學(xué)習(xí) 014
1.3.2　強(qiáng)化學(xué)習(xí)的跨界賦能 017
1.3.3　強(qiáng)化學(xué)習(xí)的分類 021

第2章　馬爾可夫與貝爾曼方程 024
2.1　“隨機(jī)”那些事兒 025
2.1.1　概率的基本概念 025
2.1.2　網(wǎng)格迷宮的探索 031
2.1.3　探索的策略與獎勵 034
2.1.4　探索的足跡 037
2.2　馬爾可夫大家族 040
2.2.1　馬爾可夫過程 040
2.2.2　馬爾可夫獎勵過程 043
2.2.3　馬爾可夫決策過程 044
2.3　貝爾曼方程 046
2.3.1　價值函數(shù)與動作價值函數(shù) 046
2.3.2　貝爾曼方程 050
2.3.3　貝爾曼最優(yōu)方程 052

第3章　動態(tài)規(guī)劃 056
3.1　動態(tài)規(guī)劃基礎(chǔ)與環(huán)境 057
3.1.1　動態(tài)規(guī)劃基礎(chǔ) 057
3.1.2　環(huán)境：冰湖 059
3.2　策略迭代算法 063
3.2.1　原理 063
3.2.2　代碼 067
3.3　價值迭代算法 072
3.3.1　原理 072
3.3.2　代碼 074

第4章　蒙特卡洛 078
4.1　隨機(jī)變量的數(shù)字特征 080
4.1.1　期望 080
4.1.2　方差 082
4.2　蒙特卡洛方法與應(yīng)用 083
4.2.1　圓面積的估計 084
4.2.2　均值估計 087
4.3　蒙特卡洛與強(qiáng)化學(xué)習(xí) 091
4.3.1　原理 091
4.3.2　環(huán)境：21點(diǎn) 101
4.3.3　代碼 102

第5章　時序差分 107
5.1　時序差分 108
5.1.1　時序差分基礎(chǔ) 108
5.1.2　環(huán)境：懸崖漫步 116
5.2　Sarsa算法 118
5.2.1　原理 118
5.2.2　代碼 120
5.3　Q-Learning算法 124
5.3.1　原理 124
5.3.2　代碼 127

第6章　深度強(qiáng)化學(xué)習(xí) 134
6.1　DQN入門 135
6.1.1　DQN的基本概念 135
6.1.2　環(huán)境：車桿 139
6.2　BP神經(jīng)網(wǎng)絡(luò)+強(qiáng)化學(xué)習(xí) 141
6.2.1　原理 141
6.2.2　代碼 145
6.3　卷積神經(jīng)網(wǎng)絡(luò)+強(qiáng)化學(xué)習(xí) 157
6.3.1　原理 157
6.3.2　代碼 162
6.4　DQN的改進(jìn) 167

第7章　策略學(xué)習(xí) 170
7.1　策略梯度算法 171
7.1.1　策略梯度原理 171
7.1.2　REINFORCE算法 173
7.1.3　代碼 176
7.2　Actor-Critic算法 184
7.2.1　原理 184
7.2.2　環(huán)境：LunarLander 189
7.2.3　代碼 190
7.3　其他基于策略的算法 197

附錄 203
附錄A　環(huán)境設(shè)置與行為探索 204
A.1　Gym庫與環(huán)境設(shè)置 204
A.2　具有人類偏好的多智能體強(qiáng)化學(xué)習(xí) 206
附錄B　博弈與策略 209
B.1　什么是博弈 209
B.2　混合策略博弈 212
B.3　序貫博弈 215
B.4　無限博弈與有限博弈 216
附錄C　收益衡量 222
C.1　理性收益：期望價值 223
C.2　效用收益：期望效用 226
C.3　情感收益：前景理論 228