具体描述
产品特色
编辑推荐
为数不多全面介绍Spark及Spark生态圈相关技术的技术书籍
俯览未来大局，不失精细剖析，呈现一个现代大数据框架的架构原理和实现细节
透彻讲解Spark原理和架构，以及部署模式、调度框架、存储管理及应用监控等重要模块
Spark生态圈深度检阅：SQL处理Shark和Spark SQL、流式处理Spark Streaming、图计算Graphx及内存文件系统Tachyon
内容简介
《Spark大数据处理技术》是一本全面介绍Spark及Spark生态圈相关技术的书籍，是国内首本深入介绍Spark原理和架构的技术书籍。主要内容有Spark基础功能介绍及内部重要模块分析，包括部署模式、调度框架、存储管理以及应用监控；同时也详细介绍了Spark生态圈中其他的软件和模块，包括SQL处理引擎Shark和Spark SQL、流式处理引擎Spark Streaming、图计算框架Graphx以及分布式内存文件系统Tachyon。《Spark大数据处理技术》从概念和原理上对Spark核心框架和生态圈做了详细的解读，并对Spark的应用现状和未来发展做了一定的介绍，旨在为大数据从业人员和Spark爱好者提供一个更深入学习的平台。
《Spark大数据处理技术》适合任何大数据、Spark领域的从业人员阅读，同时也为架构师、软件开发工程师和大数据爱好者展现了一个现代大数据框架的架构原理和实现细节。相信通过学习《Spark大数据处理技术》，读者能够熟悉和掌握Spark这一当前流行的大数据框架，并将其投入到生产实践中去。
作者简介
夏俊鸾，现任阿里巴巴数据平台部高级技术专家，Apache Spark项目Committer，曾就职于英特尔亚太研发中心，微博账号@Andrew-Xia。
刘旭晖，现任蘑菇街数据平台资深架构师（花名天火），曾就职于英特尔亚太研发中心大数据软件部，Spark/Hadoop/Hbase/Phoenix 等众多大数据相关开源项目的积极贡献者。乐于分享，著有CSDN博客 blog.csdn.net/colorant。
邵赛赛，英特尔亚太研发有限公司开发工程师，专注于大数据领域，开源爱好者，现从事Spark相关工作，Spark代码贡献者。
程浩，英特尔大数据技术团队软件工程师，Shark和Spark SQL活跃开发者，致力于SQL on Big Data的性能调优与优化。
史鸣飞，英特尔亚太研发有限公司大数据软件部工程师，专注于大数据领域，主要从事Spark及相关项目的开发及应用，Spark及Shark代码贡献者，现在主要投身于Tachyon项目的开发。
黄洁，目前就职于英特尔亚太研发中心大数据技术中心，担任高级软件工程师，致力于大数据技术的性能优化及开发工作，涉及Hadoop、Spark、HBase等开源项目。在多年的工作过程中，积累了一定的分布式大数据框架性能调优经验，并且是Apache Chukwa项目的PMC成员和Committer。在此之前，毕业于上海交通大学并获硕士及学士学位。
内页插图
精彩书评
★Spark的高速发展导致了中文信息的脱节。这本书深入浅出地介绍了Spark和Spark上多个重要计算框架，希望它的问世可以更好地在大中华地区普及Spark，增进华人Spark社区的发展。
——Databricks大数据公司联合创始人 Apache Spark PMC Member 辛湜
★Apache Spark对一体化大数据流水线的搭建进行了前所未有的简化。然而，在大数据领域固有的复杂性面前，要交付高效稳定的数据产品，开发者仍有必要对框架细节有充分的了解。本书详细介绍了Spark主体框架中为关键的执行流程，相信可以为读者在基于Spark的大数据系统设计和调优方面提供有效的指导。
——Databricks工程师 连城
★随着大数据时代的到来，企业数据每天都在急剧快速膨胀，如何发掘这些数据的价值，需要一种高效而稳定的分布式计算框架和模型。Spark恰逢其时，应运而生。本书对Spark进行了详细的阐述，包括核心模块和各个子系统，能让Spark初学者快速了解和上手Spark，是学习Spark的敲门砖。希望借此书，能让更多的读者去深入发掘Spark之美。
——淘宝技术部数据挖掘与计算团队负责人 黄明（明风）
★Apache Spark由于其基于内存的高性能计算模式以及丰富灵活的编程接口，得到了广泛的支持和应用，大有逐渐取代Hadoop MapReduce成为新一代大数据计算引擎的趋势。本书从源代码角度深入浅出地分析了Apache Spark及相关大数据技术的设计及实现，包含很多实战经验和使用心得。相信本书对于进行大数据、内存计算及分布式系统研究，Apache Spark的深入理解以及实际应用，都有很好的参考价值。
——英特尔亚太研发有限公司技术总监 段建刚
★大数据是行业热点中的热点，而Spark则是大数据相关技术中的明星。本书的几位作者都是在Spark领域有着丰富一线经验的技术从业者，本书系统化地介绍了Spark相关知识，是学习Spark不可多得的优秀书籍。
——前淘宝技术部负责人、技术总监 曾宪杰
目录
第1章 Spark系统概述
1.1 大数据处理框架
1.2 Spark大数据处理框架
1.2.1 RDD表达能力
1.2.2 Spark子系统
1.3 小结
第2章 SparkRDD及编程接口
2.1 Spark程序“HelloWorld”
2.2 SparkRDD
2.2.1 RDD分区（partitions）
2.2.2 RDD优先位置（preferredLocations）
2.2.3 RDD依赖关系（dependencies）
2.2.4 RDD分区计算（compute）
2.2.5 RDD分区函数（partitioner）
2.3 创建操作
2.3.1 集合创建操作
2.3.2 存储创建操作
2.4 转换操作
2.4.1 RDD基本转换操作
2.4.2 键值RDD转换操作
2.4.3 再论RDD依赖关系
2.5 控制操作（controloperation）
2.6 行动操作（actionoperation）
2.6.1 集合标量行动操作
2.6.2 存储行动操作
2.7 小结
第3章 Spark运行模式及原理
3.1 Spark运行模式概述
3.1.1 Spark运行模式列表
3.1.2 Spark基本工作流程
3.1.3 相关基本类
3.2 Local模式
3.2.1 部署及程序运行
3.2.2 内部实现原理
3.3 Standalone模式
3.3.1 部署及程序运行
3.3.2 内部实现原理
3.4 Localcluster模式
3.4.1 部署及程序运行
……
第4章 Spark调度管理原理
第5章 Spark的存储管理
第6章 Spark监控管理
第7章 Spark架构与安装配置
第8章 SQL程序扩展
第9章 SparkSQL
第10章 SparkStreaming流数据处理框架
第11章 GraphX计算框架
第12章 Tachyon存储系统
前言/序言
序
2009年的时候，Netflix公司举办了一个叫作Netflix Prize的推荐算法比赛。这个比赛匿名公布了Netflix五十万用户对近两万部电影的一亿个评分数据，希望参赛者能够开发出更好的推荐算法，以提高推荐系统的质量。这个比赛的奖金有一百万美元。一百万美元看似很多，但是和一个更好的推荐算法给Netflix带来的效益相比，实则九牛一毛。
高昂的奖金和Netflix提供的真实数据吸引了不少的参赛者，其中也包括了来自加州大学伯克利分校（UC Berkeley）的博士生Lester Mackey。Lester师从机器学习领域泰斗Michael Jordan，在一个叫作AMPLab的大数据实验室里进行博士研究。AMPLab和大多数学术界实验室不同的地方在于实验室内有多个教授和他们带领的学生一起合作。这些研究人员来自不同的领域，包括机器学习、数据库、计算机网络、分布式系统等。当时，要想提高算法研究迭代的效率，需要利用多台机器的分布式建模。在尝试了当时业界最流行的Hadoop MapReduce后，Lester发现自己的时间并不是花在提高算法效率上，而是耗费在MapReduce的编程模型和低效的执行模式上。这个时候，他向实验室内部的另外一名进行分布式系统研究的学生Matei Zaharia求助。
当时年纪轻轻的Matei在业界已经小有名望。他在雅虎和Facebook实习期间做了很多Hadoop早期的奠基工作，包括现今Hadoop系统内应用最广的fair scheduler调度算法。在和Lester的思维碰撞中，Matei总结了Hadoop MR的不足，开始设计了第一个版本的Spark。这个版本完全为了Lester定制，只有几百行的代码，使得Lester可以高效率地进行分布式机器学习建模。
Lester所在的The Ensemble团队最后和BellKor's Pragmatic Chaos设计了在效率上并列第一的算法，可惜因为晚了20分钟提交，与一百万美元奖金失之交臂。5年之后，Lester和Matei都变成了学术界和业界杰出的人物。Lester成为了斯坦福大学计算机系的教授，带领着自己的学生攻克一个又一个机器学习和统计的难题。Matei成为了麻省理工计算机系的教授，也是Databricks公司的CTO。
2009年之后的4年里面，AMPLab以Spark为基础展开了很多不同的学术研究项目，其中包括了我参与和主导的Shark和GraphX，还有Spark Streaming、MLlib等。4年里随着Hadoop的发展，Spark也逐渐从一个纯学术研究项目发展到了开始有业界敢于吃螃蟹的用户。
2013年，包括Matei和我在内的Spark核心人员共同创立了Databricks公司，立志于提高Spark的发展速度。过去两年，Spark的发展超越了我们所有人的想象。一年半以前Spark还是一个连监控界面都不存在的系统，很难放进生产线部署。而一年半后的今天，它已经变成了整个大数据生态圈和Apache Software Foundation内最活跃的项目，活跃程度远远超出了曾经Spark只能望其项背的Hadoop。
在从Hadoop转向Spark的道路上，我个人感觉国内的速度甚至超越了国外的社区。一年以前我第一次在中国的大数据会议上宣讲Spark，当时台下的大多数人对这个新的项目还有很大的质疑，认为其只会昙花一现。一年之后，Spark的每个新版本中都有不少华人贡献的代码，国内很多高科技和互联网公司也都有了Spark的生产作业，不少用户直接减少了在Hadoop MapReduce上的投资，把新的项目都转移到了Spark上。
今天正好是Databricks公司成立一年半，也是Spark 1.2版本第一个release candidate发布的日期。Spark的高速发展导致了中文信息的脱节。这本书深入浅出地介绍了Spark和Spark上多个重要计算框架，希望它的问世可以更好地在大中华地区普及Spark，增进华人Spark社区的发展。
辛湜 Reynold Xin
2014年11月30号
Berkeley, CA
用户评价
这本书的封面设计简洁大气，却又不失专业感，让我第一眼就感受到它所蕴含的深厚技术底蕴。我一直以来都在寻找一本能够系统性梳理Spark大数据处理流程的教材，能够从宏观的架构到微观的调优，提供一个完整的解决方案。从这本书的书名来看，它似乎正是满足了我这样的需求。我非常希望能在这本书中找到关于Spark集群的搭建与配置的详细指南，包括各种模式（Standalone、Mesos、YARN）的优缺点分析，以及如何根据实际场景选择最合适的部署方式。同时，对于Spark的内存管理、任务调度、数据容错机制等核心概念，我也希望能够得到深入的阐释，理解它们是如何协同工作，保证大数据处理的高效与稳定。我相信，掌握了这些底层原理，才能更好地进行性能调优，解决可能出现的各种复杂问题。这本书的出现，对我来说，无疑是及时雨，将为我扫清在大数据处理道路上的不少迷雾。
评分在如今这个数据爆炸的时代，掌握高效的大数据处理技术已经成为一项必备技能。我一直密切关注着技术的发展动态，Spark作为业界领先的分布式计算系统，其重要性不言而喻。看到《Spark大数据处理技术》这本书，我毫不犹豫地将它列入了我的必读清单。我非常期待书中能够深入探讨Spark的演进历程，分析Spark 1.x与Spark 2.x在架构和性能上的关键差异，以及Spark 3.x在GPU加速、AI集成等方面的新特性。我也想了解Spark是如何与其他大数据生态系统（如Hadoop、Kafka、HDFS、Hive等）进行无缝集成的，并希望能看到一些实际的集成案例和最佳实践。此外，对于Spark在特定领域的应用，比如在金融风控、电商推荐、日志分析等场景下的具体实现，我也非常感兴趣。这本书无疑将成为我深入理解Spark技术体系，拓展技术视野的宝贵资源。
评分第一眼看到这本书的名字，我就被深深吸引了。“Spark大数据处理技术”——这个名字本身就充满了技术的力量感和对未来趋势的把握。我一直对大数据领域抱有浓厚的兴趣，也了解Spark在这个领域的重要性，但总觉得理论知识与实际操作之间存在一道鸿沟。这本书的出现，仿佛就是为了填补我知识的空白，给我指明了一条通往精通Spark的清晰路径。我尤其好奇书中会如何深入浅出地讲解Spark的分布式计算原理，例如RDD、DataFrame和Dataset的底层实现机制，以及它们在性能优化方面各自的优势与劣势。此外，对于Spark SQL的强大查询能力，以及Structured Streaming在实时数据处理方面的应用，我也充满期待。我相信，通过阅读这本书，我能够更深刻地理解Spark的架构设计，掌握其核心API，并能够灵活运用Spark来解决实际的大数据处理难题，从而在我的工作中提升效率，甚至开辟新的技术视野。这本书不仅仅是一本技术书籍，在我看来，更是一份通往大数据领域前沿的通行证。
评分作为一名刚刚接触大数据领域的初学者，我对Spark这个名字已经耳熟能详，但对其具体的应用和技术细节却知之甚少。看到《Spark大数据处理技术》这本书，我感到非常振奋。它让我看到了一个学习Spark的绝佳机会。我希望这本书能够循序渐进地引导我入门，从Spark的基本概念和核心组件讲起，例如Spark的分布式计算模型，以及如何通过Spark Core进行基本的批处理操作。我也期待书中能介绍如何使用Spark SQL进行数据分析，以及Spark MLlib在机器学习领域的应用。更重要的是，我希望能通过本书了解如何在实际项目中应用Spark，例如如何处理各种类型的数据源，如何构建ETL流程，以及如何监控和优化Spark作业的性能。这本书的出现，为我打开了一扇通往大数据世界的大门，我渴望从中汲取知识，为未来的职业发展打下坚实的基础。
评分我一直对实时数据处理和流计算充满好奇，而Spark Streaming（或Structured Streaming）正是这一领域的明星技术。因此，当我看到《Spark大数据处理技术》这本书时，我的目光立刻被吸引住了。我非常希望这本书能够详尽地阐述Spark Streaming的原理，包括其微批处理（micro-batching）模型，以及Structured Streaming的逻辑执行计划和连续处理（continuous processing）的优势。书中关于如何构建端到端流处理应用的示例，以及如何处理延迟、窗口操作、状态管理等关键问题，是我最为关注的部分。我也期待了解如何将Spark Streaming与Kafka、Kinesis等消息队列结合使用，以及如何进行流式ETL、流式机器学习等高级应用。这本书的存在，让我看到了掌握流计算技术的希望，我希望能从中获得实际操作的经验，从而能够独立设计和实现高性能的流处理解决方案。
评分想学习一下热点的大数据，所以买了学习下，质量还不错
评分工作需要，买了本学习研究
评分帮助很大 。赞
评分不错的大数据学习的书
评分很好的书 简直大数据和学习Python 必备，希望早日学成 Hadoop spark
评分昨天到的，随便翻了翻，还可以吧
评分看起来挺实战派的
评分印刷质量很好，入门比较不错。快递很快。
评分昨天到的，随便翻了翻，还可以吧
相关图书
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等，本站所有链接都为正版商品购买链接。
© 2025 windowsfront.com All Rights Reserved. 静流书站 版权所有