Python神经网络编程+深度学习+机器学习 三本套装仅需226.9元，

dy 章

本书面向的读者

深度学习的历史趋势

神经网络的众多名称和命运变迁

与日俱增的数据量

与日俱增的模型规模

与日俱增的精度、复杂度和对现实世界的冲击

第部分应用数学与机器学习基础

第2章线性代数

标量、向量、矩阵和张量

矩阵和向量相乘

单位矩阵和逆矩阵

线性相关和生成子空间

范数

特殊类型的矩阵和向量

特征分解

奇异值分解

Moore-Penrose伪逆

迹运算

行列式

实例：主成分分析

第3章概率与信息论

为什么要使用概率

随机变量

概率分布

离散型变量和概率质量函数

连续型变量和概率密度函数

边缘概率

条件概率

条件概率的链式法则

独立性和条件独立性

期望、方差和协方差

常用概率分布

Bernoulli分布

Multinoulli分布

高斯分布

指数分布和Laplace分布

Dirac分布和经验分布

分布的混合

常用函数的有用性质

贝叶斯规则

连续型变量的技术细节

信息论

结构化概率模型

第4章数值计算

上溢和下溢

病态条件

基于梯度的优化方法

梯度之上：Jacobian和Hessian矩阵

约束优化

实例：线性 小二乘

第5章机器学习基础

学习算法

任务T

性能度量P

经验E

示例：线性回归

容量、过拟合和欠拟合

没有免费午餐定理

正则化

超参数和验证集

交叉验证

估计、偏差和方差

点估计

偏差

方差和标准差

权衡偏差和方差以 小化均方误差

一致性

似然估计

条件对数似然和均方误差

似然的性质

贝叶斯统计

后验(MAP)估计

监督学习算法

概率监督学习

支持向量机

其他简单的监督学习算法

无监督学习算法

主成分分析

k-均值聚类

随机梯度下降

构建机器学习算法

促使深度学习发展的挑战

维数灾难

局部不变性和平滑正则化

流形学习

第部分深度网络：现代实践

第6章深度前馈网络

实例：学习XOR

基于梯度的学习

代价函数

输出单元

隐藏单元

整流线性单元及其扩展

logisticsigmoid与双曲正切函数

其他隐藏单元

架构设计

近似性质和深度

其他架构上的考虑

反向传播和其他的微分算法

计算图

微积分中的链式法则

递归地使用链式法则来实现反向传播

全连接MLP中的反向传播计算

符号到符号的导数

一般化的反向传播

实例：用于MLP训练的反向传播

复杂化

深度学习界以外的微分

高阶微分

历史小记

第7章深度学习中的正则化

参数范数惩罚

L参数正则化

L正则化

作为约束的范数惩罚

正则化和欠约束问题

数据集增强

噪声鲁棒性

向输出目标注入噪声

半监督学习

多任务学习

提前终止

参数绑定和参数共享

卷积神经网络

稀疏表示

Bagging和其他集成方法

Dropout

对抗训练

切面距离、正切传播和流形正切分类器

第8章深度模型中的优化

学习和纯优化有什么不同

经验风险 小化

代理损失函数和提前终止

批量算法和小批量算法

神经网络优化中的挑战

病态

局部极小值

高原、鞍点和其他平坦区域

悬崖和梯度爆炸

长期依赖

非 梯度

局部和全局结构间的弱对应

优化的理论限制

基本算法

随机梯度下降

动量

Nesterov动量

参数初始化策略

自适应学习率算法

AdaGrad

RMSProp

Adam

选择正确的优化算法

二阶近似方法

牛顿法

共轭梯度

BFGS

优化策略和元算法

批标准化

坐标下降

Polyak平均

监督预训练

设计有助于优化的模型

延拓法和课程学习

第9章卷积网络

卷积运算

动机

池化

卷积与池化作为一种无限强的先验

基本卷积函数的变体

结构化输出

数据类型

高效的卷积算法

随机或无监督的特征

卷积网络的神经科学基础

卷积网络与深度学习的历史

dy 0章序列建模：循环和递归网络

展开计算图

循环神经网络

导师驱动过程和输出循环网络

计算循环神经网络的梯度

作为有向图模型的循环网络

基于上下文的RNN序列建模

双向RNN

基于编码-解码的序列到序列架构

深度循环网络

递归神经网络

长期依赖的挑战

回声状态网络

渗漏单元和其他多时间尺度的策略

时间维度的跳跃连接

渗漏单元和一系列不同时间尺度

删除连接

长短期记忆和其他门控RNN

LSTM

其他门控RNN

优化长期依赖

截断梯度

引导信息流的正则化

外显记忆

dy 1章实践方法论

性能度量

默认的基准模型

决定是否收集更多数据

选择超参数

手动调整超参数

自动超参数优化算法

网格搜索

随机搜索

基于模型的超参数优化

调试策略

示例：多位数字识别