深入理解Spark核心思想与源码分析 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

图书标签:

• Spark
• 大数据
• 分布式计算
• 源码分析
• 核心原理
• Scala
• 数据处理
• 技术栈
• 高性能计算
• 数据分析

店铺： 华心图书专营店

出版社： 机械工业出版社

ISBN：9787111522348

商品编码：26851029570

前言

准 备 篇

dy 章 环境准备2

1.1 运行环境准备2

1.1.1 安装JDK3

1.1.2 安装Scala3

1.1.3 安装Spark4

1.2 Spark初体验4

1.2.1 运行spark-shell4

1.2.2 执行word count5

1.2.3 剖析spark-shell7

1.3 阅读环境准备11

1.4 Spark源码编译与调试13

1.5 小结17

第2章 Spark设计理念与基本架构18

2.1 初识Spark18

2.1.1 Hadoop MRv1的局限18

2.1.2 Spark使用场景20

2.1.3 Spark的特点20

2.2 Spark基础知识20

2.3 Spark基本设计思想22

2.3.1 Spark模块设计22

2.3.2 Spark模型设计24

2.4 Spark基本架构25

2.5 小结26

核心设计篇

第3章 SparkContext的初始化28

3.1 SparkContext概述28

3.2 创建执行环境SparkEnv30

3.2.1 安全管理器SecurityManager31

3.2.2 基于Akka的分布式消息系统ActorSystem31

3.2.3 map任务输出跟踪器mapOutputTracker32

3.2.4 实例化ShuffleManager34

3.2.5 shuffle线程内存管理器ShuffleMemoryManager34

3.2.6 块传输服务BlockTransferService35

3.2.7 BlockManagerMaster介绍35

3.2.8 创建块管理器BlockManager36

3.2.9 创建广播管理器Broadcast-Manager36

3.2.10 创建缓存管理器CacheManager37

3.2.11 HTTP文件服务器HttpFile-Server37

3.2.12 创建测量系统MetricsSystem39

3.2.13 创建SparkEnv40

3.3 创建metadataCleaner41

3.4 SparkUI详解42

3.4.1 listenerBus详解43

3.4.2 构造JobProgressListener46

3.4.3 SparkUI的创建与初始化47

3.4.4 Spark UI的页面布局与展示49

3.4.5 SparkUI的启动54

3.5 Hadoop相关配置及Executor环境变量54

3.5.1 Hadoop相关配置信息54

3.5.2 Executor环境变量54

3.6 创建任务调度器TaskScheduler55

3.6.1 创建TaskSchedulerImpl55

3.6.2 TaskSchedulerImpl的初始化57

3.7 创建和启动DAGScheduler57

3.8 TaskScheduler的启动60

3.8.1 创建LocalActor60

3.8.2 ExecutorSource的创建与注册62

3.8.3 ExecutorActor的构建与注册64

3.8.4 Spark自身ClassLoader的创建64

3.8.5 启动Executor的心跳线程66

3.9 启动测量系统MetricsSystem69

3.9.1 注册Sources70

3.9.2 注册Sinks70

3.9.3 给Sinks增加Jetty的Servlet-ContextHandler71

3.10 创建和启动ExecutorAllocation-Manager72

3.11 ContextCleaner的创建与启动73

3.12 Spark环境更新74

3.13 创建DAGSchedulerSource和BlockManagerSource76

3.14 将SparkContext标记为激活77

3.15 小结78

第4章 存储体系79

4.1 存储体系概述79

4.1.1 块管理器BlockManager的实现79

4.1.2 Spark存储体系架构81

4.2 shuffle服务与客户端83

4.2.1 Block的RPC服务84

4.2.2 构造传输上下文Transpor-tContext85

4.2.3 RPC客户端工厂Transport-ClientFactory86

4.2.4 Netty服务器TransportServer87

4.2.5 获取远程shuffle文件88

4.2.6 上传shuffle文件89

4.3 BlockManagerMaster对Block-Manager的管理90

4.3.1 BlockManagerMasterActor90

4.3.2 询问Driver并获取回复方法92

4.3.3 向BlockManagerMaster注册BlockManagerId93

4.4 磁盘块管理器DiskBlockManager94

4.4.1 DiskBlockManager的构造过程94

4.4.2 获取磁盘文件方法getFile96

4.4.3 创建临时Block方法create-TempShuffleBlock96

4.5 磁盘存储DiskStore97

4.5.1 NIO读取方法getBytes97

4.5.2 NIO写入方法putBytes98

4.5.3 数组写入方法putArray98

4.5.4 Iterator写入方法putIterator98

4.6 内存存储MemoryStore99

4.6.1 数据存储方法putBytes101

4.6.2 Iterator写入方法putIterator详解101

4.6.3 安全展开方法unrollSafely102

4.6.4 确认空闲内存方法ensureFreeSpace105

4.6.5 内存写入方法putArray107

4.6.6 尝试写入内存方法tryToPut108

4.6.7 获取内存数据方法getBytes109

4.6.8 获取数据方法getValues110

4.7 Tachyon存储TachyonStore110

4.7.1 Tachyon简介111

4.7.2 TachyonStore的使用112

4.7.3 写入Tachyon内存的方法putIntoTachyonStore113

4.7.4 获取序列化数据方法getBytes113

4.8 块管理器BlockManager114

4.8.1 移出内存方法dropFrom-Memory114

4.8.2 状态报告方法reportBlockStatus116

4.8.3 单对象块写入方法putSingle117

4.8.4 序列化字节块写入方法putBytes118

4.8.5 数据写入方法doPut118

4.8.6 数据块备份方法replicate121

4.8.7 创建DiskBlockObjectWrit

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆

评分☆☆☆☆☆