本书以深度学习算法入门为主要内容，通过系统介绍Python、NumPy、SciPy等科学计算库，深度学习主流算法，深度学习前沿研究，深度学习服务云平台构建四大主线，向读者系统地介绍了深度学习的主要内容和研究进展。本书介绍了Python、NumPy、SciPy的使用技巧，面向谷歌推出的开源深度学习框架TensorFlow，向读者展示了利用TensorFlow和Theano框架实现线性回归、逻辑回归、多层感知器、卷积神经网络、递归神经网络、长短时记忆网络、去噪自动编码机、堆叠自动编码机、受限玻尔兹曼机、深度信念网络等，并将这些技术用于MNIST手写数字识别任务。本书不仅讲述了深度学习算法本身，而且重点讲述了如何将这些深度学习算法包装成Web服务。本书旨在帮助广大工程技术人员快速掌握深度学习相关理论和实践，并将这些知识应用到实际工作中。

一部分  深度学习算法概述

1章  深度学习算法简介2

1.1  神经网络发展简史2

1.1.1  神经网络一次兴起3

1.1.2  神经网络沉寂期（20世纪80年代—21世纪）4

1.1.3  神经网络技术积累期（20世纪90年代—2006年）5

1.1.4  深度学习算法崛起（2006年至今）8

1.2  深度学习现状10

1.2.1  传统神经网络困境10

1.2.2  深度多层感知器12

1.2.3  深度卷积神经网络14

1.2.4  深度递归神经网络15

1.3  深度学习研究前瞻16

1.3.1  自动编码机17

1.3.2  深度信念网络18

1.3.3  生成式网络**进展19

1.4  深度学习框架比较20

1.4.1  TensorFlow20

1.4.2  Theano21

1.4.3  Torch22

1.4.4  DeepLearning4J23

1.4.5  Caffe23

1.4.6  MXNet24

1.4.7  CNTK27

1.4.8  深度学习框架造型指导原则27

1.5  深度学习入门路径28

1.5.1  运行MNIST28

1.5.2  深度学习框架的选择29

1.5.3  小型试验网络33

1.5.4  训练生产网络33

1.5.5  搭建生产环境34

1.5.6  持续改进35

二部分  深度学习算法基础

2章  搭建深度学习开发环境38

2.1  安装Python开发环境38

2.1.1  安装*新版本Python38

2.1.2  Python虚拟环境配置39

2.1.3  安装科学计算库40

2.1.4  安装*新版本Theano40

2.1.5  图形绘制40

2.2  NumPy简易教程43

2.2.1  Python基础43

2.2.2  多维数组的使用51

2.2.3  向量运算58

2.2.4  矩阵运算60

2.2.5  线性代数62

2.3  TensorFlow简易教程68

2.3.1  张量定义69

2.3.2  变量和placeholder69

2.3.3  神经元激活函数71

2.3.4  线性代数运算72

2.3.5  操作数据集74

2.4  Theano简易教程77

2.4.1  安装Theano77

2.4.2  Theano入门78

2.4.3  Theano矩阵相加79

2.4.4  变量和共享变量80

2.4.5  随机数的使用84

2.4.6  Theano求导84

2.5  线性回归86

2.5.1  问题描述86

2.5.2  线性模型88

2.5.3  线性回归学习算法89

2.5.4  解析法90

2.5.5  Theano实现93

3章  逻辑回归100

3.1  逻辑回归数学基础100

3.1.1  逻辑回归算法的直观解释100

3.1.2  逻辑回归算法数学推导101

3.1.3  牛顿法解逻辑回归问题103

3.1.4  通用学习模型106

3.2  逻辑回归算法简单应用113

3.3  MNIST手写数字识别库简介124

3.4  逻辑回归MNIST手写数字识别126

4章  感知器模型和MLP139

4.1  感知器模型139

4.1.1  神经元模型139

4.1.2  神经网络架构143

4.2  数值计算形式144

4.2.1  前向传播144

4.2.2  误差反向传播145

4.2.3  算法推导147

4.3  向量化表示形式152

4.4  应用要点153

4.4.1  输入信号模型154

4.4.2  权值初始化155

4.4.3  早期停止155

4.4.4  输入信号调整156

4.5  TensorFlow实现MLP156

5章  卷积神经网络174

5.1  卷积神经网络原理174

5.1.1  卷积神经网络的直观理解174

5.1.2  卷积神经网络构成177

5.1.3  卷积神经网络设计191

5.1.4  迁移学习和网络微调193

5.2  卷积神经网络的TensorFlow实现195

5.2.1  模型搭建197

5.2.2  训练方法203