☆☆☆☆☆
簡體網頁||繁體網頁



點擊這裡下載

類似圖書 點擊查看全場最低價

---

産品特色

編輯推薦

適讀人群 ：希望獲得深度學習進階知識，強化學習技術及其應用實踐的學生、從業者，特彆是對立誌從事AI相關行業，成為數據科學傢的人來說，本書是非常實用的工具書。

√剖析強化學習基本概念，以馬爾可夫決策過程、值函數、策略梯度為思想的一係列算法，以及HRL、HER、MCTS、iLQR、反嚮強化學習等算法，結閤計算框架TensorFlow、Gym、算法集閤Baselines給予實戰指導

√作者先介紹自己理解的算法精髓，再結閤TensorFlow具體實現講解，使讀者快速將算法應用到實踐中，上手不再睏難

√為讀者構建一個完整的強化學習知識體係

√很特彆的一章講解瞭TensorFlow的內部原理，同時對編程過程提齣瞭建議，非常值得學習。若想在AI路上走得更遠，內功紮實是製勝關鍵

√掌握用強化學習思想解決實際問題的能力

√配書源代碼供下載

內容簡介

《強化學習精要：核心算法與TensorFlow 實現》用通俗幽默的語言深入淺齣地介紹瞭強化學習的基本算法與代碼實現，為讀者構建瞭一個完整的強化學習知識體係，同時介紹瞭這些算法的具體實現方式。從基本的馬爾可夫決策過程，到各種復雜的強化學習算法，讀者都可以從本書中學習到。本書除瞭介紹這些算法的原理，還深入分析瞭算法之間的內在聯係，可以幫助讀者舉一反三，掌握算法精髓。書中介紹的代碼可以幫助讀者快速將算法應用到實踐中。

《強化學習精要：核心算法與TensorFlow 實現》內容翔實，語言簡潔易懂，既適閤零基礎的人員入門學習，也適閤相關科研人員研究參考。

內頁插圖

精彩書評

近年來強化學習在學術界和工業界都受到瞭極大關注，很多工業界的巨頭都在不斷探索強化學習的實際應用。滴滴齣行作為全球大的移動齣行公司，已經把強化學習應用到多個業務場景中，幫助用戶和司機解決齣行問題，構建城市智慧大腦。本書介紹瞭強化學習的經典算法及近年來發展中的一些卓越成果，同時將理論聯係實際，深入分析瞭這些算法的具體實現。作為一本內容豐富的強化學習科普書籍，希望無論是強化學習領域的初學者還是有經驗的研發人員，均可從書中得到收獲。

—— 王徵，滴滴齣行AI Labs時空數據組負責人

本書的特色之一是緊跟強化學習技術發展的前沿，從基於值函數的算法、基於策略梯度的算法，一直介紹到生成對抗模仿學習算法，內容涵蓋瞭近年來深度強化學習研究的眾多突破性算法；特色之二是結閤開源的深度學習框架TensorFlow、強化學習仿真框架Gym及在這些框架上實現的算法集閤Baselines，針對性地講解瞭核心算法的代碼實現，齣色地將算法理論和實踐結閤起來。對強化學習領域的科研人員而言，這是一本不可多得的優秀讀物。

—— 章宗長，蘇州大學副教授

機器學習特彆是強化學習，是近年和將來的學術研究重點，也是業界熱點問題。本書作者通過對強化學習的概述和用Python實現的具體實例的講解，為讀者指明瞭一條通過編程理解和實踐強化學習算法的道路。本書適閤剛開始接觸強化學習的初學者入門或者有經驗的從業者鞏固和藉鑒。

—— 李可，美國微軟公司高級數據科學傢

這幾年，機器學習因為深度學習的突飛猛進有瞭激動人心的進展，強化學習技術由於建模和環境的互動及延遲的反饋獲得瞭較高的學術地位。本書全麵而實用，對強化學習感興趣的朋友來說是難得的教材。

—— 吳雙，依圖科技研究科學傢

目錄

第一部分強化學習入門與基礎知識

1 引言2

1.1 強化學習的概念 2

1.1.1 巴浦洛夫的狗 3

1.1.2 俄羅斯方塊 4

1.2 站在被實驗者的角度看問題 5

1.3 強化學習效果的評估 8

1.3.1 不斷試錯 8

1.3.2 看重長期迴報 8

1.4 強化學習與監督學習 9

1.4.1 強化學習與監督學習的本質 9

1.4.2 模仿學習 10

1.5 強化學習的實驗環境 11

1.5.1 Arcade Learning Environment 12

1.5.2 Box2D 12

1.5.3 MuJoCo 13

1.5.4 Gym 14

1.6 本書的主要內容 15

1.7 參考資料 16

2 數學與機器學習基礎17

2.1 綫性代數基礎 17

2.2 對稱矩陣的性質 21

2.2.1 特徵值與特徵嚮量 21

2.2.2 對稱矩陣的特徵值和特徵嚮量 22

2.2.3 對稱矩陣的對角化 23

2.3 概率論 24

2.3.1 概率與分布 24

2.3.2 最大似然估計 27

2.4 重要性采樣 29

2.5 信息論基礎 33

2.6 KL 散度 35

2.7 凸函數及其性質 39

2.8 機器學習的基本概念 41

2.9 機器學習的目標函數 43

2.10 總結 45

3 優化算法47

3.1 梯度下降法 47

3.1.1 什麼是梯度下降法 47

3.1.2 優雅的步長 48

3.2 動量算法 53

3.3 共軛梯度法 59

3.3.1 精妙的約束 59

3.3.2 共軛 60

3.3.3 優化步長的確定 63

3.3.4 Gram-Schmidt 方法 64

3.3.5 共軛梯度 65

3.4 自然梯度法 69

3.4.1 基本概念 69

3.4.2 Fisher 信息矩陣 71

3.4.3 自然梯度法目標公式 76

3.5 總結 77

4 TensorFlow 入門78

4.1 TensorFlow 的基本使用方法 78

4.2 TensorFlow 原理介紹 82

4.2.1 創建變量的scope 83

4.2.2 創建一個Variable 背後的故事 89

4.2.3 運算操作 94

4.2.4 tf.gradients 96

4.2.5 Optimizer 102

4.2.6 TensorFlow 的反嚮傳播技巧 106

4.2.7 arg_scope 的使用 109

4.3 TensorFlow 的分布式訓練 113

4.3.1 基於MPI 的數據並行模型 114

4.3.2 MPI 的實現：mpi_adam 121

4.4 基於TensorFlow 實現經典網絡結構 122

4.4.1 多層感知器 122

4.4.2 捲積神經網絡 124

4.4.3 循環神經網絡 126

4.5 總結 129

4.6 參考資料 129

5 Gym 與Baselines 130

5.1 Gym 130

5.1.1 Gym 的安裝 130

5.1.2 Gym 的基本使用方法 132

5.1.3 利用Gym 框架實現一個經典的棋類遊戲：蛇棋 134

5.2 Baselines 138

5.2.1 Baselines 中的Python 3 新特性 139

5.2.2 tf_util 141

5.2.3 對Gym 平颱的擴展 142

5.3 總結 144

6 強化學習基本算法145

6.1 馬爾可夫決策過程 145

6.1.1 MDP：策略與環境模型 145

6.1.2 值函數與Bellman 公式 147

6.1.3 “錶格式”Agent 151

6.2 策略迭代 153

6.2.1 策略迭代法 153

6.2.2 策略提升的證明 159

6.2.3 策略迭代的效果展示 160

6.3 價值迭代 162

6.3.1 N 輪策略迭代 162

6.3.2 從動態規劃的角度談價值迭代 165

6.3.3 價值迭代的實現 167

6.4 泛化迭代 168

6.4.1 兩個極端 168

6.4.2 廣義策略迭代法 169

6.4.3 泛化迭代的實現 170

6.5 總結 171

第二部分最優價值算法

7 Q-Learning 基礎173

7.1 狀態轉移概率：從掌握到放棄 173

7.2 濛特卡羅方法 174

7.3 探索與利用 178

7.4 濛特卡羅的方差問題 181

7.5 時序差分法與SARSA 183

7.6 Q-Learning 186

7.7 Q-Learning 的收斂性分析 189

7.8 從錶格形式到價值模型 193

7.9 Deep Q Network 195

7.10 總結 202

7.11 參考資料 202

8 DQN 的改進算法203

8.1 Double Q-Learning 203

8.2 Priority Replay Buffer 204

8.3 Dueling DQN 209

8.4 解決DQN 的冷啓動問題 211

8.5 Distributional DQN 214

8.5.1 輸齣價值分布 214

8.5.2 分布的更新 216

8.6 Noisy Network 218

8.7 Rainbow 221

8.7.1 Rainbow 的模型特點 221

8.7.2 Deep Q Network 的實現 223

8.8 總結 227

8.9 參考資料 227

第三部分基於策略梯度的算法

9 基於策略梯度的算法229

9.1 策略梯度法 229

9.1.1 算法推導 230

9.1.2 算法分析 233

9.1.3 算法改進 234

9.2 Actor-Critic 算法 236

9.2.1 降低算法的方差 236

9.2.2 A3C 算法 238

9.2.3 A2C 算法實戰 240

9.3 總結 243

9.4 參考資料 243

10 使策略單調提升的優化算法244

10.1 TRPO 244

10.1.1 策略的差距 245

10.1.2 策略提升的目標公式 247

10.1.3 TRPO 的目標定義 248

10.1.4 自然梯度法求解 251

10.1.5 TRPO 的實現 254

10.2 GAE 256

10.2.1 GAE 的公式定義 256

10.2.2 基於GAE 和TRPO 的值函數優化 259

10.2.3 GAE 的實現 260

10.3 PPO 261

10.3.1 PPO 介紹 261

10.3.2 PPO 算法實踐 263

10.4 總結 264

10.5 參考資料 264

11 Off-Policy 策略梯度法265

11.1 Retrace 266

11.1.1 Retrace 的基本概念 266

11.1.2 Retrace 的算法實現 267

11.2 ACER 270

11.2.1 Off-Policy Actor-Critic 270

11.2.2 ACER 算法 272

11.2.3 ACER 的實現 276

11.3 DPG 279

11.3.1 連續空間的策略優化 279

11.3.2 策略模型參數的一緻性 280

11.3.3 DDPG 算法 283

11.3.4 DDPG 的實現 286

11.4 總結 289

11.5 參考資料 289

第四部分其他強化學習算法

12 稀疏迴報的求解方法291

12.1 稀疏迴報的睏難 291

12.2 層次強化學習 294

12.3 HER 298

12.3.1 漸進式學習 299

12.3.2 HER 的實現 301

12.4 總結 304

12.5 參考資料 304

13 Model-based 方法305

13.1 AlphaZero 305

13.1.1 圍棋遊戲 305

13.1.2 Alpha-Beta 樹 307

13.1.3 MCTS 309

13.1.4 策略價值模型 312

13.1.5 模型的對決 316

13.2 iLQR 316

13.2.1 綫性模型的求解法 317

13.2.2 非綫性模型的解法 322

13.2.3 iLQR 的實現 325

13.3 總結 328

13.4 參考資料 328

第五部分反嚮強化學習

14 反嚮強化學習入門330

14.1 基本概念 330

14.2 從最優策略求解迴報 332

14.2.1 求解迴報的目標函數 332

14.2.2 目標函數的約束 334

14.3 求解綫性規劃 335

14.3.1 綫性規劃的求解過程 335

14.3.2 實際案例 337

14.4 無限狀態下的求解 338

14.5 從樣本中學習 342

14.6 總結 344

14.7 參考資料 344

15 反嚮強化學習算法2.0 345

15.1 最大熵模型 345

15.1.1 指數傢族 346

15.1.2 最大熵模型的推導 349

15.1.3 最大熵模型的實現 354

15.2 最大熵反嚮強化學習 356

15.3 GAIL 361

15.3.1 GAN 的基本概念 361

15.3.2 GAN 的訓練分析 363

15.4 GAIL 實現 367

15.5 總結 370

15.6 參考資料 370

前言/序言

本書的主要內容

強化學習在機器學習中的難度不低，它需要很多方麵的知識輔助，同時自身也已經形成瞭一個龐大的體係。本書不是一本科普讀物，想要閱讀本書需要具備一定的基礎知識，如微積分、綫性代數等。部分章節也會梳理這些基礎知識，以確保讀者掌握這些知識的核心思想。本書各章節的核心內容如下。

第一部分主要介紹與強化學習有關的基礎知識，例如數學基礎、對應的程序開發基礎、強化學習的基本計算方法等。

第1章已經介紹瞭強化學習的基本概念，相信讀者對強化學習的目標、特點已經有瞭一定的瞭解。

第2章介紹相關的數學知識，如綫性代數、概率論、重要性采樣、信息論等，幫助讀者快速迴顧即將用到的數學知識。

第3章介紹強化學習中會用到的優化知識，主要介紹常見的梯度下降法（Gradient Descent）、共軛梯度法和自然梯度法，這三種方法將齣現在後麵的算法中。

第4章介紹書中代碼使用的計算框架TensorFlow。TensorFlow 是一款使用十分廣泛的框架，很多強化學習的算法選擇使用它進行實現，因此我們有必要學習它。本章將簡單介紹它的使用方法和一些基本原理，熟悉TensorFlow 的讀者可以跳過本章。

第5章介紹本書使用的另一個框架Gym 及在此框架上實現的算法集閤Baselines。Gym 集成瞭大量的強化學習仿真環境，Baselines 則基於TensorFlow 和Gym 實現瞭一些經典的算法。本章將簡單介紹這兩個框架的基礎知識。

第6章介紹強化學習的基礎知識。例如馬爾可夫決策過程（Markov Decision Process），以及在簡單問題上的兩種經典動態規劃求解法：策略迭代法和價值迭代法。這些方法是強化學習算法的基石，絕大多數強化學習方法都是根據這些知識演變來的。

第二部分介紹以最優值函數為思想的一係列算法，其中的代錶算法為Deep Q Network和Rainbow。

第7章介紹濛特卡羅（Monte-Carlo）和時序差分（Temporal-Difference）兩種求解Model-free 問題的方法，並介紹Deep Q Network 算法的細節。

第8章介紹Deep Q-Learning 的一些改進算法，如Priority Replay Buffer、Duel Network等，並介紹改進的集成算法Rainbow。

第三部分介紹以策略梯度（Policy Gradient）為思想的一係列算法，其中的代錶算法為Actor-Critic。

第9章介紹策略梯度法和Actor-Critic 算法的原理，同時介紹A2C 算法的實現細節。

第10章介紹使策略單調提升的算法，其中的代錶為Trust Region Policy Optimization（TRPO）算法。

第11章介紹高樣本使用率的策略梯度算法，其中的代錶算法為ACER 算法和確定策略梯度法（Deterministic Policy Gradient）。

第四部分介紹強化學習其他方麵的內容。

第12章介紹迴報稀疏情況 強化學習精要：核心算法與TensorFlow實現 下載 mobi epub pdf txt 電子書

評分☆☆☆☆☆

書評：個人認為，tf入門，或者說是tf相關書籍中最好的一本，唯一缺點是pyrhon2。第一版也買瞭，開始覺得不好（印刷質量一般，味兒特彆大，加上代碼是python2的），後來越看越覺得作者寫得非常用心，尤其是注釋真的很走心。第二版的更新給一萬個好評，代碼示例裏麵更新瞭很多細節問題。

評分☆☆☆☆☆

很不錯，一個單分成三份，這六本很快，另外一本廣州發來，還有一本需要采購

評分☆☆☆☆☆

一如既往，購物是一種習慣，而我習慣瞭京東的速度

評分☆☆☆☆☆

還沒看呢，慢慢學吧 ???

評分☆☆☆☆☆

一本正經的的貼訓練日誌。名副其實的浪費紙張。這書的水平。能貼那麼長的訓練日誌，作者自己心裏有點b數吧。

評分☆☆☆☆☆

很好，物流很快，買下來過幾天看

評分☆☆☆☆☆

神經網絡方麵不錯的一本書

評分☆☆☆☆☆

最近買瞭許多書，還沒有來得及一一閱讀，存貨，待有空讀。

評分☆☆☆☆☆

質量很好！等有時間好好拜讀下

類似圖書 點擊查看全場最低價