基本信息

書名：Spark大數據商業實戰三部麯：內核解密|商業案例|性能調優

：299.00元

作者：王傢林、段智華、夏陽

齣版社：清華大學齣版社

齣版日期：2018-02-01

ISBN：9787302489627

字數：

頁碼：

版次：1

裝幀：平裝-膠訂

開本：16開

商品重量：0.4kg

編輯推薦

基於*的Spark2.2.X版本，分為內核解密篇，商業案例篇，性能調優篇，共31章，學習過程中有任何疑問，可加入群，有專業人員答疑解惑。

內容提要

《Spark大數據商業實戰三部麯：內核解密|商業案例|性能調優》基於Spark 2.2.X，以Spark商業案例實戰和Spark在生産環境下幾乎所有類型的性能調優為核心，以Spark內核解密為基石，分為上篇、中篇、下篇，對企業生産環境下的Spark商業案例與性能調優抽絲剝繭地進行剖析。上篇基於Spark源碼，從一個動手實戰案例入手，循序漸進地全麵解析瞭Spark 2.2新特性及Spark內核源碼；中篇選取Spark開發中*有代錶的經典學習案例，深入淺齣地介紹，在案例中綜閤應用Spark的大數據技術；下篇性能調優內容基本完全覆蓋瞭Spark在生産環境下的所有調優技術。

目錄

目 錄

上篇 內核解密

第1章 電光石火間體驗Spark 2.2開發實戰... 2

1.1 通過RDD實戰電影點評係統入門及源碼閱讀... 2

1.1.1 Spark核心概念圖解... 2

1.1.2 通過RDD實戰電影點評係統案例... 4

1.2 通過DataFrame和DataSet實戰電影點評係統... 7

1.2.1 通過DataFrame實戰電影點評係統案例... 7

1.2.2 通過DataSet實戰電影點評係統案例... 10

1.3 Spark 2.2源碼閱讀環境搭建及源碼閱讀體驗... 11

第2章 Spark2.2技術及原理... 14

2.1 Spark 2.2綜述... 14

2.1.1 連續應用程序... 14

2.1.2 新的API 15

2.2 Spark 2.2 Core. 16

2.2.1 第二代Tungsten引擎... 16

2.2.2 SparkSession. 16

2.2.3 纍加器API 17

2.3 Spark 2.2 SQL. 19

2.3.1 Spark SQL. 20

2.3.2 DataFrame和DatasetAPI 20

2.3.3 Timed Window.. 21

2.4 Spark 2.2 Streaming. 21

2.4.1 StructuredStreaming. 21

2.4.2 增量輸齣模式... 23

2.5 Spark 2.2 MLlib. 27

2.5.1 基於DataFrame的MachineLearning API 28

2.5.2 R的分布式算法... 28

2.6 Spark 2.2 GraphX.. 29

第3章 Spark的靈魂：RDD和DataSet 30

3.1 為什麼說RDD和DataSet是Spark的靈魂... 30

3.1.1 RDD的定義及五大特性剖析... 30

3.1.2 DataSet的定義及內部機製剖析... 34

3.2 RDD彈性特性七個方麵解析... 36

3.3 RDD依賴關係... 43

3.3.1 窄依賴解析... 43

3.3.2 寬依賴解析... 45

3.4 解析Spark中的DAG邏輯視圖... 46

3.4.1 DAG生成的機製... 46

3.4.2 DAG邏輯視圖解析... 47

3.5 RDD內部的計算機製... 49

3.5.1 Task解析... 49

3.5.2 計算過程深度解析... 49

3.6 Spark RDD容錯原理及其四大核心要點解析... 57

3.6.1 Spark RDD容錯原理... 57

3.6.2 RDD容錯的四大核心要點... 57

3.7 Spark RDD中Runtime流程解析... 59

3.7.1 Runtime架構圖... 59

3.7.2 生命周期... 60

3.8 通過WordCount實戰解析Spark RDD內部機製... 70

3.8.1 Spark WordCount動手實踐... 70

3.8.2 解析RDD生成的內部機製... 72

3.9 基於DataSet的代碼到底是如何一步步轉化成為RDD的... 78

第4章 SparkDriver啓動內幕剖析... 81

4.1 Spark Driver Program剖析... 81

4.1.1 Spark DriverProgram.. 81

4.1.2 SparkContext深度剖析... 81

4.1.3 SparkContext源碼解析... 82

4.2 DAGScheduler解析... 96

4.2.1 DAG的定義... 96

4.2.2 DAG的實例化... 97

4.2.3 DAGScheduler劃分Stage的原理... 98

4.2.4 DAGScheduler劃分Stage的具體算法... 99

4.2.5 Stage內部Task獲取佳位置的算法... 113

4.3 TaskScheduler解析... 116

4.3.1 TaskScheduler原理剖析... 116

4.3.2 TaskScheduler源碼解析... 117

4.4 SchedulerBackend解析... 132

4.4.1 SchedulerBackend原理剖析... 132

4.4.2 SchedulerBackend源碼解析... 132

4.4.3 Spark程序的注冊機製... 133

4.4.4 Spark程序對計算資源Executor的管理... 134

4.5 打通Spark係統運行內幕機製循環流程... 135

4.6 本章總結... 145

第5章 Spark集群啓動原理和源碼詳解... 146

5.1 Master啓動原理和源碼詳解... 146

5.1.1 Master啓動的原理詳解... 146

5.1.2 Master啓動的源碼詳解... 147

5.1.3 Master HA雙機切換... 157

5.1.4 Master的注冊機製和狀態管理解密... 163

5.2 Worker啓動原理和源碼詳解... 170

5.2.1 Worker啓動的原理流程... 170

5.2.2 Worker啓動的源碼詳解... 174

5.3 ExecutorBackend啓動原理和源碼詳解... 178

5.3.1 ExecutorBackend接口與Executor的關係... 178

Spark大數據商業實戰三部麯：內核解密|商業案例|性能調優 下載 mobi epub pdf txt 電子書