內容簡介
本書為數據挖掘入門級教材,共分8章,主要內容分為三個專題:技術、數據和評估。技術專題包括決策樹技術、K-means算法、關聯分析技術、神經網絡技術、迴歸分析技術、貝葉斯分析、凝聚聚類、概念分層聚類、混閤模型聚類技術的EM算法、時間序列分析和基於Web的數據挖掘等常用的機器學習方法和統計技術。數據專題包括數據庫中的知識發現處理模型和數據倉庫及OLAP技術。評估專題包括利用檢驗集分類正確率和混淆矩陣,並結閤檢驗集置信區間評估有指導學習模型,使用無指導聚類技術評估有指導模型,利用Lift和假設檢驗比較兩個有指導學習模型,使用MS Excel 2010和經典的假設檢驗模型評估屬性,使用簇質量度量方法和有指導學習技術評估無指導聚類模型。
本書秉承教材風格,強調廣度講解。注重成熟模型和開源工具的使用,以提高學習者的應用能力為目標;注重結閤實例和實驗,加強基本概念和原理的理解和運用;注重實例的趣味性和生活性,提高學習者學習的積極性。使用章後練習、計算和實驗作業鞏固和檢驗所學內容;使用詞匯錶附錄,解釋和規範數據挖掘學科專業術語;使用適閤教學的簡單易用開源的Weka和通用的MS Excel軟件工具實施數據挖掘驗證和體驗數據挖掘的精妙。
本書可作為普通高等院校計算機科學、信息科學、數學和統計學專業的入門教材,也可作為如經濟學、管理學、檔案學等對數據管理、數據分析與數據挖掘有教學需求的其他相關專業的基礎教材。同時,對數據挖掘技術和方法感興趣,緻力於相關方麵的研究和應用的其他讀者,也可以從本書中獲取基本的指導和體驗。
本書配有教學幻燈片、大部分章後習題和實驗的參考答案以及課程大綱。
目錄
第1章 認識數據挖掘 1
1.1 數據挖掘的定義 1
1.2 機器學習 2
1.2.1 概念學習 2
1.2.2 歸納學習 3
1.2.3 有指導的學習 4
1.2.4 無指導的聚類 7
1.3 數據查詢 8
1.4 專傢係統 8
1.5 數據挖掘的過程 9
1.5.1 準備數據 10
1.5.2 挖掘數據 10
1.5.3 解釋和評估數據 10
1.5.4 模型應用 11
1.6 數據挖掘的作用 11
1.6.1 分類 11
1.6.2 估計 12
1.6.3 預測 12
1.6.4 無指導聚類 12
1.6.5 關聯關係分析 13
1.7 數據挖掘技術 13
1.7.1 神經網絡 14
1.7.2 迴歸分析 14
1.7.3 關聯分析 15
1.7.4 聚類技術 16
1.8 數據挖掘的應用 16
1.8.1 應用領域 16
1.8.2 成功案例 18
1.9 Weka數據挖掘軟件 19
1.9.1 Weka簡介 19
1.9.2 使用Weka建立決策樹模型 22
1.9.3 使用Weka進行聚類 25
1.9.4 使用Weka進行關聯分析 26
本章小結 27
習題 28
第2章 基本數據挖掘技術 30
2.1 決策樹 30
2.1.1 決策樹算法的一般過程 31
2.1.2 決策樹算法的關鍵技術 32
2.1.3 決策樹規則 40
2.1.4 其他決策樹算法 41
2.1.5 決策樹小結 41
2.2 關聯規則 42
2.2.1 關聯規則概述 42
2.2.2 關聯分析 43
2.2.3 關聯規則小結 46
2.3 聚類分析技術 47
2.3.1 K-means算法 48
2.3.2 K-means算法小結 51
2.4 數據挖掘技術的選擇 51
本章小結 52
習題 53
第3章 數據庫中的知識發現 55
3.1 知識發現的基本過程 55
3.1.1 KDD過程模型 55
3.1.2 知識發現軟件 57
3.1.3 KDD過程的參與者 58
3.2 KDD過程模型的應用 58
3.2.1 步驟1:商業理解 58
3.2.2 步驟2:數據理解 59
3.2.3 步驟3:數據準備 60
3.2.4 步驟4:建模 65
3.2.5 評估 66
3.2.6 部署和采取行動 66
3.3 實驗:KDD案例 66
本章小結 72
習題 73
第4章 數據倉庫 74
4.1 數據庫與數據倉庫 74
4.1.1 數據(庫)模型 75
4.1.2 規範化與反嚮規範化 77
4.2 設計數據倉庫 79
4.2.1 數據抽取、清洗、變換和加載 79
4.2.2 數據倉庫模型 82
4.2.3 數據集市 85
4.2.4 決策支持係統 86
4.3 聯機分析處理 87
4.3.1 概述 87
4.3.2 實驗:使用OLAP輔助駕駛員行為分析 90
4.4 使用Excel數據透視錶和數據透視圖分析數據 93
4.4.1 創建簡單數據透視錶和透視圖 93
4.4.2 創建多維透視錶和透視圖 97
本章小結 100
習題 100
第5章 評估技術 102
5.1 數據挖掘評估概述 102
5.1.1 評估內容 102
5.1.2 評估工具 103
5.2 評估有指導學習模型 108
5.2.1 評估分類類型輸齣模型 108
5.2.2 評估數值型輸齣模型 109
5.2.3 計算檢驗集置信區間 111
5.2.4 無指導聚類技術的評估作用 112
5.3 比較有指導學習模型 112
5.3.1 使用Lift比較模型 112
5.3.2 通過假設檢驗比較模型 114
5.4 屬性評估 115
5.4.1 數值型屬性的冗餘檢查 115
5.4.2 數值屬性顯著性的假設檢驗 117
5.5 評估無指導聚類模型 118
本章小結 118
習題 119
第6章 神經網絡技術 120
6.1 神經網絡概述 120
6.1.1 神經網絡模型 120
6.1.2 神經網絡的輸入和輸齣數據格式 121
6.1.3 激勵函數 123
6.2 神經網絡訓練 124
6.2.1 反嚮傳播學習 124
6.2.2 自組織映射的無指導聚類 127
6.2.3 實驗:應用BP算法建立前饋神經網絡 130
6.3 神經網絡模型的優勢和缺點 138
本章小結 138
習題 139
第7章 統計技術 141
7.1 迴歸分析 141
7.1.1 綫性迴歸分析 142
7.1.2 非綫性迴歸 149
7.1.3 樹迴歸 151
7.2 貝葉斯分析 152
7.3 聚類技術 156
7.3.1 分層聚類 156
7.3.2 基於模型的聚類 163
7.4 數據挖掘中的統計技術與機器學習技術 165
本章小結 165
習題 167
第8章 時間序列和基於Web的數據挖掘 169
8.1 時間序列分析 169
8.1.1 概述 169
8.1.2 綫性迴歸分析解決時間序列問題 173
8.1.3 神經網絡技術解決時間序列問題 175
8.2 基於Web的數據挖掘 176
8.2.1 概述 176
8.2.2 Web文本挖掘 178
8.2.3 Web使用挖掘 179
8.3 多模型分類技術 185
8.3.1 裝袋技術 185
8.3.2 推進技術 185
本章小結 186
習題 187
附錄A 詞匯錶 188
附錄B 數據挖掘數據集 201
參考文獻
前言/序言
未來學傢約翰·奈斯比特(John Naisbitt)驚呼:“人類正被數據淹沒,卻飢渴於信息。”從浩瀚無際的數據海洋中發現潛在的、有價值的信息,是這個大數據時代的一個標誌性工作。
數據挖掘(Data Mining)是利用一種或多種計算機學習技術,從數據中自動分析並提取信息的處理過程,其目的是發現數據中潛在的和有價值的信息、知識、規律、聯係、模式,從而為解釋當前行為和預測未來結果提供支持。數據挖掘一般使用機器學習、統計學、聯機分析處理、專傢係統和模式識彆等多種方法來實現,是一門交叉學科,涉及數據庫技術、人工智能技術、統計學方法、可視化技術、並行計算等。數據挖掘是一種商業智能信息處理技術,其圍繞商業目標,對大量商業數據進行抽取、轉換、分析和處理,從中提取輔助商業決策的關鍵性數據,揭示隱藏的、未知的或驗證已知的規律性,是一種深層次的商業數據分析方法。
本書作為一本數據挖掘的入門級教材,關注於數據挖掘的基本概念、基本原理和基本技術的介紹和實踐應用。全書圍繞知識發現過程中的數據專題、技術專題和評估專題展開,包含大量實例和實驗。實驗采用Weka開源數據挖掘工具和MS Excel 2010,兩者作為教學軟件,具有很好的通用性和易學易用性。本書最後附有詞匯錶和數據挖掘數據集,包括瞭書中涉及的數據挖掘的最基本詞匯、例子及實驗所用數據集。其中數據集有來自UCI的共享數據集,也有為瞭舉例和實驗而設計的假想數據集。
本書分為8章和兩個附錄,其中戴紅編寫瞭8章中的大部分內容,常子冠和於寜編寫瞭附錄A和附錄B,以及前8章的部分內容。
本書目標
本書希望幫助讀者達到以下學習目標。
瞭解數據挖掘的技術定義和商業定義、作用和應用領域。
瞭解數據挖掘與知識發現、數據查詢、專傢係統的關係。
掌握數據挖掘和知識發現的處理過程。
掌握數據挖掘的基本技術和方法,包括有指導的學習技術——決策樹技術、産生式規則、神經網絡技術和統計分析方法,以及無指導聚類技術和關聯分析方法。
掌握數據挖掘的評估技術,包括數據評估和模型評估方法。
瞭解數據倉庫的設計目標和結構。
瞭解聯機分析處理(OLAP)的目標和數據分析方法。
掌握時間序列分析方法,瞭解基於Web的數據挖掘目標、方法和技術。
能夠使用Weka軟件工具,應用各種數據挖掘算法,建立分類和聚類模型並進行關聯分析,嘗試解決實際問題。
能夠使用MS Excel進行數據相關性分析,建立迴歸模型,以及使用Excel的數據透視錶和數據透視圖進行OLAP分析。
本書讀者
本書既可作為計算機科學、信息科學、數學和統計學專業的入門教材,也可作為如經濟學、管理學、檔案學等,對數據管理、數據分析與數據挖掘有教學需求的其他相關專業的基礎教材。同時,對數據挖掘技術和方法感興趣,緻力於相關方麵的研究和應用的其他讀者,也可以從本書中獲取基本的指導和體驗。
本書特點
本書強調基本概念、基本原理、基本技術的廣度講解。注重成熟模型和開源工具的介紹和使用;注重對數據挖掘經典算法過程的可理解性描述,而非聚焦細節的剖析,以提高授課學生的應用能力;注重結閤基礎實用案例,通過案例加強基本概念和原理的理解和運用;同時注重提高實例的趣味性和生活性,以提高學生的學習積極性。
本書秉承教材風格,使用實例和實驗來描述和驗證概念、原理和技術;使用章後練習、計算和實驗作業鞏固和檢驗所學內容;使用詞匯錶附錄,解釋和規範數據挖掘學科專業術語;使用適閤教學的簡單易用開源的Weka和通用的MS Excel軟件工具實施數據挖掘,驗證和體驗數據挖掘的精妙。
本書內容
第1章 認識數據挖掘。主要是對數據挖掘作全麵的概述,包括數據挖掘的基本概念、作用、過程、方法、技術和應用。同時介紹瞭本書使用的開源數據挖掘軟件Weka。
從第2章到第8章,可分為三個專題:技術專題、數據專題和評估專題。
技術專題
第2章 基本數據挖掘技術。介紹有指導學習技術中的決策樹算法、無指導聚類和K-means算法,重點討論生成關聯規則技術和針對不同問題如何考慮選擇不同的數據挖掘技術和算法。第6章 神經網絡技術。介紹神經網絡的基本概念、結構模型、反嚮傳播學習、自組織學習方法和神經網絡技術的優勢和缺點,討論神經網絡的輸入和輸齣數據的要求,詳細描述反嚮傳播學習算法和自組織學習方法的一次迭代過程,並通過兩個實驗,介紹瞭使用Weka軟件實現BP前饋神經網絡模型的過程。第7章 統計技術。介紹數據挖掘中幾種常用的統計技術,包括綫性迴歸、非綫性迴歸和樹迴歸,貝葉斯分類器,聚類技術中的凝聚聚類、概念分層聚類和混閤模型聚類技術的EM算法,對比瞭統計技術和機器學習方法的不同之處,為針對不同的問題和數據情況選擇不同的數據挖掘技術提供參考。第8章 時間序列分析和基於Web的挖掘。介紹如何使用神經網絡技術和綫性迴歸方法建立預測模型,解決時間序列預測問題,使用數據挖掘對Web站點進行自動化評估和提供個性化服務,並就Web站點的自適應調整和改善進行瞭簡單闡述,同時針對多模型應用中的兩種著名方法裝袋和推進進行瞭簡單介紹。
數據專題
第3章 數據庫中的知識發現。介紹瞭知識發現的基本概念、基本過程和典型模型,重點剖析知識發現過程中的每個步驟的任務和方法,並通過一個案例說明知識發現的整個過程。第4章 數據倉庫。概括性地闡述瞭數據庫和數據倉庫的基本概念和特點,介紹瞭數據倉庫模型的設計,重點討論最常用的星型模型、雪花模型和星座模型的設計,並解釋瞭數據集市和決策支持係統的基本概念。通過一個實驗,描述瞭從決策支持的角度,對數據倉庫中的數據進行多維分析的方法。最後介紹瞭利用MS Excel數據透視錶和數據透視圖建立多維數據分析模型的方法。
評估專題
第5章 評估技術。概述瞭數據挖掘過程中評估的內容和工具,介紹瞭具有分類輸齣的有指導學習模型的最基本評估工具——檢驗集分類正確率和混淆矩陣、數值型輸齣模型的評估、檢驗置信區間的計算以及無指導聚類技術對於有指導學習模型的評估作用、有指導學習模型的比較方法,重點討論瞭利用Lift和假設檢驗對兩個有指導學習模型的性能進行比較。同時,討論瞭屬性評估,使用MS Excel的函數和散點圖進行屬性相關性分析,以及在屬性選擇中,如何通過應用經典的假設檢驗模型來確定數值屬性的重要性。本章最後給齣瞭兩種無指導聚類模型的評估方法。
附錄 本書有兩個附錄:附錄A為詞匯錶,包含瞭各章以及Weka軟件中齣現的主要詞匯和關鍵術語;附錄B為本書各章實例、實驗、章後習題中涉及的數據集的相關描述,有來自UCI的網絡共享數據集,也有假想的數據集。
數據挖掘導論 下載 mobi epub pdf txt 電子書