　　《大规模强化学习》讨论大规模强化学习的理论及方法，介绍强化学习在大状态空间任务中的应用。该研究已成为近年来计算机科学与技术领域*活跃的研究分支之一。
　　《大规模强化学习》共分六部分21章。第一部分是强化学习基础。第二部分是用于强化学习的值函数逼近方法。第三部分是*小二乘策略迭代方法。第四部分是模糊近似强化学习方法。第五部分是并行强化学习方法。第六部分是离策略强化学习方法。
　　《大规模强化学习》可以作为高等院校计算机专业和自动控制专业研究生的教材，也可以作为相关领域科技工作者和工程技术人员的参考书。

内页插图

前言
第1章强化学习概述
1．1 简介
1．2 形式框架
1．2．1 马尔可夫决策过程
1．2．2 策略
1．2．3 回报
1．3 值函数
1．4 解决强化学习问题
1．4．1 动态规划：基于模型的解决技术
1．4．2 强化学习：模型无关的解决技术
1．5 本章小结
参考文献

第2章大规模或连续状态空间的强化学习
2．1 简介
2．2 近似表示
2．2．1 带参数化值函数逼近
2．2．2 非参数化值函数逼近
2．3 值函数逼近求解方法
2．3．1 梯度下降方法
2．3．2 最小二乘回归
2．4 本章小结
参考文献

第3章梯度下降值函数逼近模型的改进
3．1 改进的梯度下降值函数逼近模型
3．1．1 势函数塑造奖赏机制
3．1．2 基于势函数塑造奖赏机制的值函数逼近模型
3．2 NRBF-GD-Sarsa（λ）算法
3．2．1 算法描述
3．2．2 算法收敛性分析
3．3 仿真实验
3．3．1 实验描述
3．3．2 实验设置
3．3．3 实验分析
3．4 本章小结
参考文献

第4章基于LSSVR的Q-值函数分片逼近模型
4．1 LSSVR-Q-值函数分片逼近模型
4．2 在线稀疏化样本池构建方法
4．3 LSSVR-Q算法
4．4 仿真实验
4．4．1 实验1：MountainCar问题
4．4．2 实验2：DCMotor问题
4．5 本章小结
参考文献

第5章基于ANRBF网络的Q-V值函数协同逼近模型
5．1 Q-V值函数协同机制
5．2 Q-V值函数协同逼近模型
5．3 Q-V值函数协同逼近算法
5．3．1 QV（λ）算法
5．3．2 算法收敛性分析
5．4 仿真实验
5．4．1 实验描述
5．4．2 实验设置
5．4．3 实验分析
5．5 本章小结
参考文献

第6章基于高斯过程的快速Sarsa算法
6．1 新的值函数概率生成模型
6．2 利用高斯过程对线性带参值函数建模
6．3 FL-GPSarsa算法
6．4 仿真实验
6．4．1 带风的格子世界问题
6．4．2 MountainCar问题
6．5 本章小结
参考文献

第7章基于高斯过程的Q学习算法
7．1 值迭代方法
7．2 用于值迭代的值函数概率生成模型
7．3 GP-QL算法
7．4 仿真实验
7．4．1 实验1：带悬崖的格子世界问题
7．4．2 实验2：MountainCar问题
7．5 本章小结
参考文献

第8章最小二乘策略迭代算法
8．1 马尔可夫决策过程
8．2 最小二乘策略迭代
8．2．1 投影贝尔曼等式的矩阵形式
8．2．2 最小二乘策略迭代
8．2．3 在线最小二乘策略迭代
8．3 本章小结
参考文献

第9章批量最小二乘策略迭代算法
9．1 批量强化学习算法
9．2 批量最小二乘策略迭代算法
9．3 算法分析
9．3．1 收敛性分析
9．3．2 复杂度分析
9．4 仿真实验
9．4．1 实验描述
9．4．2 实验设置
9．4．3 实验分析
9．5 本章小结
参考文献

第10章自动批量最小二乘策略迭代算法
10．1 定点步长参数评估方法
10．2 自动批量最小二乘策略迭代算法
10．3 仿真实验
10．3．1 实验描述
10．3．2 实验分析
10．4 本章小结
参考文献

第11章连续动作空间的批量最小二乘策略迭代算法
11．1 二值动作搜索
11．2 快速特征选择
11．3 连续动作空间的快速特征选择批量最小二乘策略迭代算法
11．4 仿真实验
11．4．1 实验描述
11．4．2 实验设置
11．4．3 实验分析
11．5 本章小结
参考文献

第12章一种基于双层模糊推理的Sarsa（λ）算法
12．1 Q-值函数的计算和FIS的参数更新
12．2 DFR-Sarsa（λ）算法
12．2．1 DFR-Sarsa（λ）算法的学习过程
12．2．2 算法收敛性分析
12．3 仿真实验
12．3．1 MountainCar
12．3．2 平衡杆
12．4 本章小结
参考文献

第13章一种基于区间型二型模糊推理的Sarsa（λ）算法
13．1 近似Q-值函数的计算和参数的更新
13．2 IT2FI-Sarsa（λ）算法的学习过程
13．3 算法收敛性分析
13．4 仿真实验
13．4．1 实验设置
13．4．2 实验分析
13．5 本章小结
参考文献
……
第14章一种带有自适应基函数的模糊值迭代算法
第15章基于状态空间分解和智能调度的并行强化学习
第16章基于资格迹的并行时间信度分配强化学习算法
第17章基于并行采样和学习经验复用的E3算法
第18章基于线性函数逼近的离策略Q（λ）算法
第19章基于二阶TDError的Q（λ）算法
第20章基于值函数迁移的快速Q-Learning算法
第21章离策略带参贝叶斯强化学习算法