第一部分　綫性模型
第1章　邏輯迴歸　　2
1.1　作為一個神經元的邏輯迴歸　　2
1.2　基礎嚮量幾何　　4
1.2.1　嚮量　　4
1.2.2　嚮量的和、數乘與零嚮量　　6
1.2.3　嚮量的內積、模與投影　　8
1.2.4　綫性空間、基與綫性函數　　11
1.2.5　直綫、超平麵與仿射函數　　14
1.3　從幾何角度理解邏輯迴歸的能力和局限　　17
1.4　實例：根據鳥類骨骼判斷生態類群　　20
1.5　小結　　24
第2章　模型評價與損失函數　　25
2.1　訓練集與測試集　　25
2.2　分類模型的評價　　26
2.2.1　混淆矩陣　　26
2.2.2　正確率　　27
2.2.3　查準率　　27
2.2.4　查全率　　27
2.2.5　ROC麯綫　　28
2.3　損失函數　　29
2.3.1　K-L散度與交叉熵　　29
2.3.2　最大似然估計　　31
2.3.3　從幾何角度理解交叉熵損失　　33
2.4　小結　　35
第3章　梯度下降法　　36
3.1　多元函數的微分　　36
3.1.1　梯度　　37
3.1.2　方嚮導數　　40
3.1.3　偏導數　　43
3.1.4　駐點　　43
3.1.5　局部極小點　　44
3.2　梯度下降法　　46
3.2.1　反梯度場　　47
3.2.2　梯度下降法　　49
3.2.3　梯度下降法的問題　　50
3.3　梯度下降法的改進　　52
3.3.1　學習率調度　　52
3.3.2　衝量法　　54
3.3.3　AdaGrad　　55
3.3.4　RMSProp　　56
3.3.5　Adam　　57
3.4　運用梯度下降法訓練邏輯迴歸　　59
3.5　梯度下降法訓練邏輯迴歸的Python實現　　61
3.6　小結　　67
第4章　超越梯度下降　　68
4.1　矩陣　　68
4.1.1　矩陣基礎　　68
4.1.2　矩陣的逆　　71
4.1.3　特徵值與特徵嚮量　　73
4.1.4　對稱矩陣的譜分解　　74
4.1.5　奇異值分解　　76
4.1.6　二次型　　77
4.2　多元函數的局部二階特性　　79
4.2.1　赫森矩陣　　79
4.2.2　二階泰勒展開　　79
4.2.3　駐點的類型　　82
4.2.4　赫森矩陣的條件數　　84
4.3　基於二階特性的優化　　87
4.3.1　牛頓法　　87
4.3.2　共軛方嚮法　　92
4.4　運用牛頓法訓練邏輯迴歸　　95
4.5　牛頓法訓練邏輯迴歸的Python實現　　98
4.6　小結　　100
第5章　正則化　　102
5.1　概率論迴顧　　102
5.1.1　隨機變量　　102
5.1.2　多元隨機變量　　105
5.1.3　多元隨機變量的期望和協方差矩陣　　106
5.1.4　樣本均值和樣本協方差矩陣　　106
5.1.5　主成分　　108
5.1.6　正態分布　　111
5.2　模型自由度與偏置?方差權衡　　115
5.2.1　最小二乘綫性迴歸　　116
5.2.2　模型自由度　　118
5.2.3　偏置?方差權衡　　119
5.3　正則化　　122
5.3.1　嶺迴歸與L_2正則化　　122
5.3.2　L_2正則化的貝葉斯視角　　125
5.3.3　L_1正則化　　126
5.4　過擬閤與欠擬閤　　127
5.5　運用L_2正則化訓練邏輯迴歸　　130
5.6　運用L_2正則化訓練邏輯迴歸的Python實現　　132
5.7　小結　　135
第二部分　神經網絡
第6章　神經網絡　　138
6.1　閤作的神經元　　138
6.2　多層全連接神經網絡　　142
6.3　激活函數　　145
6.3.1　Linear　　145
6.3.2　Logistic　　146
6.3.3　Tanh　　148
6.3.4　ReLU　　150
6.3.5　Leaky ReLU以及PReLU　　151
6.3.6　SoftPlus　　153
6.4　多分類與SoftMax　　154
6.5　小結　　157
第7章　反嚮傳播　　158
7.1　映射　　158
7.1.1　仿射映射　　158
7.1.2　雅可比矩陣　　159
7.1.3　鏈式法則　　160
7.2　反嚮傳播　　162
7.2.1　網絡的符號錶示　　162
7.2.2　原理　　163
7.2.3　實現　　166
7.3　相關問題　　169
7.3.1　計算量　　169
7.3.2　梯度消失　　170
7.3.3　正則化　　170
7.3.4　權值初始化　　170
7.3.5　提前停止　　171
7.4　多層全連接神經網絡的Python實現　　173
7.5　小結　　181
第8章　計算圖　　183
8.1　計算圖模型　　183
8.1.1　簡介　　183
8.1.2　多層全連接神經網絡的計算圖　　187
8.1.3　其他神經網絡結構的計算圖　　188
8.2　自動求導　　190
8.3　自動求導的實現　　192
8.4　計算圖的Python實現　　195
8.5　小結　　214
第9章　捲積神經網絡　　215
9.1　捲積　　215
9.1.1　一元函數的捲積　　215
9.1.2　多元函數的捲積　　219
9.1.3　濾波器　　223
9.2　捲積神經網絡的組件　　228
9.2.1　捲積層　　228
9.2.2　激活層　　230
9.2.3　池化層　　231
9.2.4　全連接層　　233
9.2.5　跳躍連接　　234
9.3　深度學習的正則化方法　　236
9.3.1　權值衰減　　236
9.3.2　Dropout　　237
9.3.3　權值初始化　　237
9.3.4　批標準化　　238
9.3.5　數據增強　　239
9.4　小結　　239
第10章　經典CNN　　241
10.1　LeNet-5　　241
10.2　AlexNet　　245
10.3　VGGNet　　248
10.4　GoogLeNet　　251
10.5　ResNet　　255
10.6　小結　　257
第11章　TensorFlow實例　　258
11.1　多分類邏輯迴歸　　258
11.2　多層全連接神經網絡　　266
11.3　LeNet-5　　269
11.4　AlexNet　　273
11.5　VGG16　　277
11.6　小結　　280
附錄A　CNN與元胞自動機　　281
參考文獻　　311
· · · · · · (收起)