1 深度學習及TensorFlow 簡介1
1.1 深度學習 1
1.2 TensorFlow 簡介及安裝 2
2 基本的數據結構及運算6
2.1 張量 6
2.1.1 張量的定義 6
2.1.2 Tensor 與Numpy 的ndarray 轉換 9
2.1.3 張量的尺寸 10
2.1.4 圖像轉換為張量 13
2.2 隨機數 14
2.2.1 均勻（平均）分布隨機數 14
2.2.2 正態（高斯）分布隨機數 15
2.3 單個張量的運算 17
2.3.1 改變張量的數據類型 17
2.3.2 訪問張量中某一個區域的值 19
2.3.3 轉置 22
2.3.4 改變形狀 26
2.3.5 歸約運算：求和、平均值、最大（小）值 29
2.3.6 最大（小）值的位置索引 34
2.4 多個張量之間的運算 35
2.4.1 基本運算：加、減、乘、除 35
2.4.2 乘法 41
2.4.3 張量的連接 42
2.4.4 張量的堆疊 44
2.4.5 張量的對比 48
2.5 占位符 49
2.6 Variable 對象 50
3 梯度及梯度下降法52
3.1 梯度 52
3.2 導數計算的鏈式法則 53
3.2.1 多個函數和的導數 54
3.2.2 復閤函數的導數 54
3.2.3 單變量函數的駐點、極值點、鞍點 55
3.2.4 多變量函數的駐點、極值點、鞍點 57
3.2.5 函數的泰勒級數展開 60
3.2.6 梯度下降法 63
3.3 梯度下降法 73
3.3.1 Adagrad 法 73
3.3.2 Momentum 法 75
3.3.3 NAG 法 77
3.3.4 RMSprop 法 78
3.3.5 具備動量的RMSprop 法 80
3.3.6 Adadelta 法 81
3.3.7 Adam 法 82
3.3.8 Batch 梯度下降 84
3.3.9 隨機梯度下降 85
3.3.10 mini-Batch 梯度下降 86
3.4 參考文獻 86
4 迴歸分析88
4.1 綫性迴歸分析 88
4.1.1 一元綫性迴歸 88
4.1.2 保存和加載迴歸模型 91
4.1.3 多元綫性迴歸 95
4.2 非綫性迴歸分析 99
5 全連接神經網絡102
5.1 基本概念 102
5.2 計算步驟 104
5.3 神經網絡的矩陣錶達 107
5.4 激活函數 112
5.4.1 sigmoid 激活函數 112
5.4.2 tanh 激活函數 113
5.4.3 ReLU 激活函數 114
5.4.4 leaky relu 激活函數 115
5.4.5 elu 激活函數 118
5.4.6 crelu 激活函數 119
5.4.7 selu 激活函數 120
5.4.8 relu6 激活函數 121
5.4.9 softplus 激活函數 121
5.4.10 softsign 激活函數 122
5.5 參考文獻 123
6 神經網絡處理分類問題125
6.1 TFRecord 文件 125
6.1.1 將ndarray 寫入TFRecord 文件 125
6.1.2 從TFRecord 解析數據 128
6.2 建立分類問題的數學模型 134
6.2.1 數據類彆（標簽） 134
6.2.2 圖像與TFRecrder 135
6.2.3 建立模型 140
6.3 損失函數與訓練模型 143
6.3.1 sigmoid 損失函數 143
6.3.2 softmax 損失函數 144
6.3.3 訓練和評估模型 148
6.4 全連接神經網絡的梯度反嚮傳播 151
6.4.1 數學原理及示例 151
6.4.2 梯度消失 166
7 一維離散捲積168
7.1 一維離散捲積的計算原理 168
7.1.1 full 捲積 169
7.1.2 valid 捲積 170
7.1.3 same 捲積 170
7.1.4 full、same、valid 捲積的關係 171
7.2 一維捲積定理 174
7.2.1 一維離散傅裏葉變換 174
7.2.2 捲積定理 177
7.3 具備深度的一維離散捲積 182
7.3.1 具備深度的張量與捲積核的捲積 182
7.3.2 具備深度的張量分彆與多個捲積核的捲積 183
7.3.3 多個具備深度的張量分彆與多個捲積核的捲積 185
8 二維離散捲積187
8.1 二維離散捲積的計算原理 187
8.1.1 full 捲積 187
8.1.2 same 捲積 189
8.1.3 valid 捲積 191
8.1.4 full、same、valid 捲積的關係 192
8.1.5 捲積結果的輸齣尺寸 193
8.2 離散捲積的性質 194
8.2.1 可分離的捲積核 194
8.2.2 full 和same 捲積的性質 195
8.2.3 快速計算捲積 197
8.3 二維捲積定理 198
8.3.1 二維離散傅裏葉變換 198
8.3.2 二維與一維傅裏葉變換的關係 201
8.3.3 捲積定理 203
8.3.4 利用捲積定理快速計算捲積 203
8.4 多深度的離散捲積 205
8.4.1 基本的多深度捲積 205
8.4.2 一個張量與多個捲積核的捲積 207
8.4.3 多個張量分彆與多個捲積核的捲積 208
8.4.4 在每一深度上分彆捲積 211
8.4.5 單個張量與多個捲積核在深度上分彆捲積 212
8.4.6 分離捲積 214
9 池化操作218
9.1 same 池化 218
9.1.1 same 最大值池化 218
9.1.2 多深度張量的same 池化 221
9.1.3 多個三維張量的same 最大值池化 223
9.1.4 same 平均值池化 224
9.2 valid 池化 226
9.2.1 多深度張量的vaild 池化 228
9.2.2 多個三維張量的valid 池化 229
10 捲積神經網絡231
10.1 淺層捲積神經網絡 231
10.2 LeNet 238
10.3 AlexNet 244
10.3.1 AlexNet 網絡結構詳解 244
10.3.2 dropout 及其梯度下降 247
10.4 VGGNet 256
10.5 GoogleNet 264
10.5.1 網中網結構 264
10.5.2 Batch Normalization 269
10.5.3 BN 與捲積運算的關係 273
10.5.4 指數移動平均 275
10.5.5 帶有BN 操作的捲積神經網絡 276
10.6 ResNet 281
10.7 參考文獻 284
11 捲積的梯度反嚮傳播286
11.1 valid 捲積的梯度 286
11.1.1 已知捲積核，對未知張量求導 286
11.1.2 已知輸入張量，對未知捲積核求導 290
11.2 same 捲積的梯度 294
11.2.1 已知捲積核，對輸入張量求導 294
11.2.2 已知輸入張量，對未知捲積核求導 298
12 池化操作的梯度303
12.1 平均值池化的梯度 303
12.2 最大值池化的梯度 306
13 BN 的梯度反嚮傳播311
13.1 BN 操作與捲積的關係 311
13.2 示例詳解 314
14 TensorFlow 搭建神經網絡的主要函數324
· · · · · · (收起)