基本信息

书名：Spark大数据商业实战三部曲：内核解密|商业案例|性能调优

：299.00元

作者：王家林、段智华、夏阳

出版社：清华大学出版社

出版日期：2018-02-01

ISBN：9787302489627

字数：

页码：

版次：1

装帧：平装-胶订

开本：16开

商品重量：0.4kg

编辑推荐

基于*的Spark2.2.X版本，分为内核解密篇，商业案例篇，性能调优篇，共31章，学习过程中有任何疑问，可加入群，有专业人员答疑解惑。

内容提要

《Spark大数据商业实战三部曲：内核解密|商业案例|性能调优》基于Spark 2.2.X，以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心，以Spark内核解密为基石，分为上篇、中篇、下篇，对企业生产环境下的Spark商业案例与性能调优抽丝剥茧地进行剖析。上篇基于Spark源码，从一个动手实战案例入手，循序渐进地全面解析了Spark 2.2新特性及Spark内核源码；中篇选取Spark开发中*有代表的经典学习案例，深入浅出地介绍，在案例中综合应用Spark的大数据技术；下篇性能调优内容基本完全覆盖了Spark在生产环境下的所有调优技术。

目录

目 录

上篇 内核解密

第1章 电光石火间体验Spark 2.2开发实战... 2

1.1 通过RDD实战电影点评系统入门及源码阅读... 2

1.1.1 Spark核心概念图解... 2

1.1.2 通过RDD实战电影点评系统案例... 4

1.2 通过DataFrame和DataSet实战电影点评系统... 7

1.2.1 通过DataFrame实战电影点评系统案例... 7

1.2.2 通过DataSet实战电影点评系统案例... 10

1.3 Spark 2.2源码阅读环境搭建及源码阅读体验... 11

第2章 Spark2.2技术及原理... 14

2.1 Spark 2.2综述... 14

2.1.1 连续应用程序... 14

2.1.2 新的API 15

2.2 Spark 2.2 Core. 16

2.2.1 第二代Tungsten引擎... 16

2.2.2 SparkSession. 16

2.2.3 累加器API 17

2.3 Spark 2.2 SQL. 19

2.3.1 Spark SQL. 20

2.3.2 DataFrame和DatasetAPI 20

2.3.3 Timed Window.. 21

2.4 Spark 2.2 Streaming. 21

2.4.1 StructuredStreaming. 21

2.4.2 增量输出模式... 23

2.5 Spark 2.2 MLlib. 27

2.5.1 基于DataFrame的MachineLearning API 28

2.5.2 R的分布式算法... 28

2.6 Spark 2.2 GraphX.. 29

第3章 Spark的灵魂：RDD和DataSet 30

3.1 为什么说RDD和DataSet是Spark的灵魂... 30

3.1.1 RDD的定义及五大特性剖析... 30

3.1.2 DataSet的定义及内部机制剖析... 34

3.2 RDD弹性特性七个方面解析... 36

3.3 RDD依赖关系... 43

3.3.1 窄依赖解析... 43

3.3.2 宽依赖解析... 45

3.4 解析Spark中的DAG逻辑视图... 46

3.4.1 DAG生成的机制... 46

3.4.2 DAG逻辑视图解析... 47

3.5 RDD内部的计算机制... 49

3.5.1 Task解析... 49

3.5.2 计算过程深度解析... 49

3.6 Spark RDD容错原理及其四大核心要点解析... 57

3.6.1 Spark RDD容错原理... 57

3.6.2 RDD容错的四大核心要点... 57

3.7 Spark RDD中Runtime流程解析... 59

3.7.1 Runtime架构图... 59

3.7.2 生命周期... 60

3.8 通过WordCount实战解析Spark RDD内部机制... 70

3.8.1 Spark WordCount动手实践... 70

3.8.2 解析RDD生成的内部机制... 72

3.9 基于DataSet的代码到底是如何一步步转化成为RDD的... 78

第4章 SparkDriver启动内幕剖析... 81

4.1 Spark Driver Program剖析... 81

4.1.1 Spark DriverProgram.. 81

4.1.2 SparkContext深度剖析... 81

4.1.3 SparkContext源码解析... 82

4.2 DAGScheduler解析... 96

4.2.1 DAG的定义... 96

4.2.2 DAG的实例化... 97

4.2.3 DAGScheduler划分Stage的原理... 98

4.2.4 DAGScheduler划分Stage的具体算法... 99

4.2.5 Stage内部Task获取佳位置的算法... 113

4.3 TaskScheduler解析... 116

4.3.1 TaskScheduler原理剖析... 116

4.3.2 TaskScheduler源码解析... 117

4.4 SchedulerBackend解析... 132

4.4.1 SchedulerBackend原理剖析... 132

4.4.2 SchedulerBackend源码解析... 132

4.4.3 Spark程序的注册机制... 133

4.4.4 Spark程序对计算资源Executor的管理... 134

4.5 打通Spark系统运行内幕机制循环流程... 135

4.6 本章总结... 145

第5章 Spark集群启动原理和源码详解... 146

5.1 Master启动原理和源码详解... 146

5.1.1 Master启动的原理详解... 146

5.1.2 Master启动的源码详解... 147

5.1.3 Master HA双机切换... 157

5.1.4 Master的注册机制和状态管理解密... 163

5.2 Worker启动原理和源码详解... 170

5.2.1 Worker启动的原理流程... 170

5.2.2 Worker启动的源码详解... 174

5.3 ExecutorBackend启动原理和源码详解... 178

5.3.1 ExecutorBackend接口与Executor的关系... 178

Spark大数据商业实战三部曲：内核解密|商业案例|性能调优 电子书 下载 mobi epub pdf txt