TensorFlow強化學習快速入門指南——使用Python動手搭建自學習的智能體
定 價：45 元
叢書名：大數(shù)據(jù)叢書
- 作者：[美]考�？恕ぐ屠死锵Ｄ希↘aushik Balakrishnan)
- 出版時間：2020/5/1
- ISBN：9787111648123
- 出 版 社：機械工業(yè)出版社
- 中圖法分類：TP18
- 頁碼：120
- 紙張：膠版紙
- 版次：1
- 開本：16K
強化學習是一類重要的機器學習方法,在很多領域得到了成功的應用,*近幾年與深度學習結合起來,進一步推動了人工智能的發(fā)展?本書首先介紹了強化學習的基本原理,然后介紹典型的強化學習算法,包括時序差分? SARSA? Q-Learning? DeepQ-network? Double DQN?競爭網絡結構? Rainbow? Actor-Critic? A2C? A3C? TRPO和PPO等,每種算法基本上利用了主流的開源機器學習框架TensorFlow,使用Python編程進行實現(xiàn)?此外,還介紹了一些上述算法的應用?本書可以使讀者快速理解強化學習的基本知識,并通過簡單的案例加深對算法的理解?本書適合對強化學習感興趣的普通高校師生以及相關專業(yè)人員閱讀?
Copyright ? Packt Publishing 2018First published in the English language under the title “Deep Learning with TensorFlow-SecondEdition- ( 9781788831109)”
Copyright in the Chinese language( simplified characters) ? 2020 China Machine PreesThis title is published in China by China Machine Press with license from Packt Publishing Ltd.This edition is authorized for sale in China only , excluding Hong Kong SAR. Macao SAR and Taiwan.Unauthorized export of this edition is a violation of the Copyright Act. Violation of this Law is subjectto Civil and Criminal Penalties.
譯者序
前 言
第 1 章 強化學習的啟動和運行 // 1
1.1 為何選擇強化學習 // 1
闡述強化學習問題 // 2
1.2 agent 及其環(huán)境之間的關系 // 3
1.2.1 定義 agent 的狀態(tài) // 3
1.2.2 定義 agent 的行為 // 3
1.2.3 了解策略、價值函數(shù)和優(yōu)勢函數(shù) // 4
1.3 認識回合 // 5
1.4 認識獎勵函數(shù)和折扣獎勵 // 5
獎勵 // 6
1.5 學習馬爾可夫決策過程 // 6
1.6 定義貝爾曼方程 // 7
1.7 同步策略與異步策略學習 // 7
1.7.1 同步策略方法 // 7
1.7.2 異步策略方法 // 8
1.8 無模型訓練和基于模型訓練 // 8
1.9 本書中涉及的算法 // 8
總結 // 9
思考題 // 9
擴展閱讀 // 9
第 2 章 時序差分、SARSA 與 Q-Learning // 10
2.1 技術需求 // 10
2.2 理解 TD 學習 // 10
價值函數(shù)與狀態(tài)之間的關系 // 11
2.3 理解 SARSA 與 Q-Learning // 11
IX
2.3.1 學習 SARSA // 12
2.3.2 理解 Q-Learning // 12
2.4 懸崖徒步與網格世界問題 // 12
2.4.1 SARSA 下的懸崖徒步 // 13
2.4.2 Q-Learning 下的懸崖徒步 // 18
2.4.3 SARSA 下的網格世界 // 20
總結 // 22
擴展閱讀 // 22
第 3 章 深度 Q 網絡 // 23
3.1 技術需求 // 23
3.2 學習 DQN 原理 // 23
3.3 理解目標網絡 // 24
3.4 了解重放緩沖區(qū) // 25
3.5 Atari 環(huán)境介紹 // 25
3.5.1 Atari 游戲概述 // 26
3.5.2 用 TensorFlow 編寫 DQN // 27
3.6 驗證 DQN 在 Atari Breakout 上的性能 // 39
總結 // 40
思考題 // 40
擴展閱讀 // 41
第 4 章 Double DQN、競爭網絡結構和 Rainbow // 42
4.1 技術需求 // 42
4.2 了解 Double DQN // 43
4.2.1 編寫 DDQN 并訓練解決 Atari Breakout 問題 // 43
4.2.2 在 Atari Breakout 問題中評估 DDQN 的性能 // 44
4.3 理解競爭網絡結構 // 45
4.3.1 編寫競爭網絡結構并訓練其解決 Atari Breakout 問題 // 47
4.3.2 在 Atari Breakout 中評估競爭網絡結構的性能 // 48
4.4 了解 Rainbow 網絡 // 49
DQN 改進 // 50
4.5 在 Dopamine 上運行 Rainbow 網絡 // 50
TensorFlow 強化學習快速入門指南
—使用 Python 動手搭建自學習的智能體
X
使用 Dopamine 運行 Rainbow // 52
總結 // 53
思考題 // 53
擴展閱讀 // 53
第 5 章 深度確定性策略梯度 // 55
5.1 技術需求 // 55
5.2 Actor-Critic 算法和策略梯度 // 56
策略梯度 // 56
5.3 深度確定性策略梯度 // 56
5.3.1 編寫 ddpg.py // 57
5.3.2 編寫 AandC.py // 59
5.3.3 編寫 TrainOrTest.py // 64
5.3.4 編寫 replay_buffer.py // 67
5.4 在 Pendulum-v0 中訓練和測試 DDPG // 68
總結 // 69
思考題 // 70
擴展閱讀 // 70
第 6 章 異步的方法——A3C 和 A2C // 71
6.1 技術需求 // 71
6.2 A3C 算法 // 71
6.2.1 損失函數(shù) // 72
6.2.2 CartPole and LunarLander // 72
6.3 A3C 算法在 CartPole 中的應用 // 73
6.3.1 編寫 cartpole.py // 73
6.3.2 編寫 a3c.py // 75
6.3.3 Worker 類 // 77
6.3.4 編寫 utils.py // 80
6.3.5 CartPole 訓練 // 81
6.4 A3C 算法在 LunarLander 中的應用 // 82
6.4.1 編寫 lunar.py // 82
6.4.2 在 LunarLander 上訓練 // 82
6.5 A2C 算法 // 83
總結 // 83
思考題 // 84
擴展閱讀 // 84
第 7 章 信任區(qū)域策略優(yōu)化和近端策略優(yōu)化 // 85
7.1 技術需求 // 85
7.2 學習 TRPO // 85
TRPO 方程 // 86
7.3 學習 PPO // 86
PPO 損失函數(shù) // 86
7.4 使用 PPO 解決 Mountain Car 問題 // 87
7.4.1 編寫 class_ppo.py // 87
7.4.2 編寫 train_test.py // 91
7.5 評估性能 // 95
7.6 馬力全開 // 95
7.7 隨機發(fā)力 // 96
總結 // 97
思考題 // 97
擴展閱讀 // 97
第 8 章 深度強化學習在自動駕駛中的應用 // 98
8.1 技術需求 // 98
8.2 汽車駕駛模擬器 // 99
8.3 學習使用 TORCS // 99
8.3.1 狀態(tài)空間 // 100
8.3.2 支持文件 // 100
8.4 訓練 DDPG agent 來學習駕駛 // 101
8.4.1 編寫 ddpg.py // 101
8.4.2 編寫 AandC.py // 101
8.4.3 編寫 TrainOrTest.py // 102
TensorFlow 強化學習快速入門指南
—使用 Python 動手搭建自學習的智能體
8.5 訓練 PPO agent // 104
總結 // 104
思考題 // 105
擴展閱讀 // 105
附錄 思考題答案 // 10
書單推薦
