这是一本实用手册,四位作者均是Cloudera公司的数据科学家,他们联袂展示了利用Spark进行大规模数据分析的若干模式,而且每个模式都自成一体。他们将Spark、统计学方法和真实数据集结合起来,通过实例向读者讲述了怎样解决分析型问题。
本书首先介绍了Spark及其生态系统,接着详细介绍了将分类、协同过滤及异常检查等常用技术应用于基因学、安全和金融领域的若干模式。如果你对机器学习和统计学有基本的了解,并且会用Java、Python或Scala编程,这些模式将有助于你开发自己的数据应用。
本书介绍了以下模式:
音乐推荐和Audioscrobbler数据集
用决策树算法预测森林植被
基于K均值聚类进行网络流量的异常检测
基于潜在语义分析技术分析维基百科
用GraphX分析伴生网络
对纽约出租车轨迹进行空间和时间数据分析
通过蒙特卡罗模拟来评估金融风险
基因数据分析和BDG项目
用PySpark和Thunder分析神经图像数据
本书是使用Spark进行大规模数据分析的实战宝典,由大数据公司Cloudera的数据科学家撰写。四位作者首先结合数据科学和大数据分析的广阔背景讲解了Spark,然后介绍了用Spark和Scala进行数据处理的基础知识,接着讨论了如何将Spark用于机器学习,同时介绍了常见应用中几个常用的算法。此外还收集了一些更加新颖的应用,比如通过文本隐含语义关系来查询Wikipedia或分析基因数据。
Sandy Ryza是Cloudera公司数据科学家,Apache Spark项目的活跃代码贡献者。领导了Cloudera公司的Spark开发工作。他还是Hadoop项目管理委员会委员。
Uri Laserson是Cloudera公司数据科学家,专注于Hadoop生态系统中的Python部分。
Sean Owen是Cloudera公司EMEA地区的数据科学总监,也是Apache Spark项目的代码提交者。他创立了基于Spark、Spark Streaming和Kafka的Hadoop实时大规模学习项目Oryx(之前称为Myrrix)。
Josh Wills是Cloudera公司的高级数据科学总监,Apache Crunch项目的发起者和副总裁。
四位作者研习Spark已久,他们在本书中跟读者分享了关于Spark的大量精彩内容,而且本书的案例部分同样出众!对于这本书,我最钟爱的是它强调案例,且这些案例都源于现实数据和实际应用……认真研读此书,你应该可以吸收这些案例中的思想,并直接将其运用在自己的项目中!
——Matei Zaharia,Databricks公司CTO兼Apache Spark项目副总裁
推荐序 ix
译者序 xi
序 xiii
前言 xv
第1 章 大数据分析 1
1.1 数据科学面临的挑战 2
1.2 认识Apache Spark 4
1.3 关于本书 5
第2 章 用Scala 和Spark 进行数据分析 7
2.1 数据科学家的Scala 8
2.2 Spark 编程模型 9
2.3 记录关联问题 9
2.4 小试牛刀:Spark shell 和SparkContext 10
2.5 把数据从集群上获取到客户端 15
2.6 把代码从客户端发送到集群 18
2.7 用元组和case class 对数据进行结构化 19
2.8 聚合 23
2.9 创建直方图 24
2.10 连续变量的概要统计 25
2.11 为计算概要信息创建可重用的代码 26
2.12 变量的选择和评分简介 30
2.13 小结 31
第3 章 音乐推荐和Audioscrobbler 数据集 33
3.1 数据集 34
3.2 交替最小二乘推荐算法 35
3.3 准备数据 37
3.4 构建第一个模型 39
3.5 逐个检查推荐结果 42
3.6 评价推荐质量 43
3.7 计算AUC 44
3.8 选择超参数 46
3.9 产生推荐 48
3.10 小结 49
第4 章 用决策树算法预测森林植被 51
4.1 回归简介 52
4.2 向量和特征 52
4.3 样本训练 53
4.4 决策树和决策森林 54
4.5 Covtype 数据集 56
4.6 准备数据 57
4.7 第一棵决策树 58
4.8 决策树的超参数 62
4.9 决策树调优 63
4.10 重谈类别型特征 65
4.11 随机决策森林 67
4.12 进行预测 69
4.13 小结 69
第5 章 基于K 均值聚类的网络流量异常检测 71
5.1 异常检测 72
5.2 K 均值聚类 72
5.3 网络入侵 73
5.4 KDD Cup 1999 数据集 73
5.5 初步尝试聚类 74
5.6 K 的选择 76
5.7 基于R 的可视化 79
5.8 特征的规范化 81
5.9 类别型变量 83
5.10 利用标号的熵信息 84
5.11 聚类实战 85
5.12 小结 86
第6 章 基于潜在语义分析算法分析维基百科 89
6.1 词项- 文档矩阵 90
6.2 获取数据 91
6.3 分析和准备数据 92
6.4 词形归并 93
6.5 计算TF-IDF 94
6.6 奇异值分解 97
6.7 找出重要的概念 98
6.8 基于低维近似的查询和评分 101
6.9 词项- 词项相关度 102
6.10 文档- 文档相关度 103
6.11 词项- 文档相关度 105
6.12 多词项查询 106
6.13 小结 107
第7 章 用GraphX 分析伴生网络 109
7.1 对MEDLINE 文献引用索引的网络分析 110
7.2 获取数据 111
7.3 用Scala XML 工具解析XML 文档 113
7.4 分析MeSH 主要主题及其伴生关系 114
7.5 用GraphX 来建立一个伴生网络 116
7.6 理解网络结构 119
7.6.1 连通组件 119
7.6.2 度的分布 122
7.7 过滤噪声边 124
7.7.1 处理EdgeTriplet 125
7.7.2 分析去掉噪声边的子图 126
7.8 小世界网络 127
7.8.1 系和聚类系数 128
7.8.2 用Pregel 计算平均路径长度 129
7.9 小结 133
第8 章 纽约出租车轨迹的空间和时间数据分析 135
8.1 数据的获取 136
8.2 基于Spark 的时间和空间数据分析 136
8.3 基于JodaTime 和NScalaTime 的时间数据处理 137
8.4 基于Esri Geometry API 和Spray 的地理空间数据处理 138
8.4.1 认识Esri Geometry API 139
8.4.2 GeoJSON 简介 140
8.5 纽约市出租车客运数据的预处理 142
8.5.1 大规模数据中的非法记录处理 143
8.5.2 地理空间分析 147
8.6 基于Spark 的会话分析 149
8.7 小结 153
第9 章 基于蒙特卡罗模拟的金融风险评估 155
9.1 术语 156
9.2 VaR 计算方法 157
9.2.1 方差- 协方差法 157
9.2.2 历史模拟法 157
9.2.3 蒙特卡罗模拟法 157
9.3 我们的模型 158
9.4 获取数据 158
9.5 数据预处理 159
9.6 确定市场因素的权重 162
9.7 采样 164
9.8 运行试验 167
9.9 回报分布的可视化 170
9.10 结果的评估 171
9.11 小结 173
第10 章 基因数据分析和BDG 项目 175
10.1 分离存储与模型 176
10.2 用ADAM CLI 导入基因学数据 178
10.3 从ENCODE 数据预测转录因子结合位点 185
10.4 查询1000 Genomes 项目中的基因型 191
10.5 小结 193
第11 章 基于PySpark 和Thunder 的神经图像数据分析 195
11.1 PySpark 简介 196
11.2 Thunder 工具包概况和安装 199
11.3 用Thunder 加载数据 200
11.4 用Thunder 对神经元进行分类 207
11.5 小结 211
附录A Spark 进阶 213
附录B 即将发布的MLlib Pipelines API 221
作者介绍 226
封面介绍 226
数据的爆炸式增长和隐藏在这些数据背后的商业价值催生了一代又一代的大数据处理技术。十年前 Hadoop 横空出世,Cloudera 首席架构师 Doug Cutting 先生将 Google 的 MapReduce 思想用开源的方式实现出来,由此拉开了基于 MapReduce 的大数据处理框架在企业中应用的序幕。最近几年,Hadoop 生态系统又发展出以 Spark 为代表的新计算框架。相比 MapReduce,Spark 速度快,开发简单,并且能同时兼顾批处理和实时数据分析。Spark 起源于加州大学伯克利分校的 AMPLab,Cloudera 公司作为大数据市场上的翘楚很早就开始将 Spark 推广到广大企业级客户并积累了大量的经验。Advanced Analysis with Spark 一书正是这些经验的结晶。另一方面,企业级用户在引入 Spark 技术时碰到的最大难题之一就是能够灵活应用 Spark 技术的人才匮乏。听闻 Cloudera 中国公司的龚少成在与图灵公司一起为 Advanced Analysis with Spark 一书的中文版在日夜奋战,我便欣然作序,也算是为国内企业更好地应用 Spark 技术尽自己的一份力量!
本书开篇介绍了 Spark 的基础知识,然后详细介绍了如何将 Spark 应用到各个行业。与许多书籍只着重描述最终方案不同,本书作者在介绍案例时把解决问题的整个过程也展现了出来。在介绍一个主题时,并不是一开始就给出最终方案,而是先给出一个最初并不完善的方案,然后指出方案的不足,引导读者思考并逐步改进,最终得出一个相对完善的方案。这体现了工程问题的解决思路,也体现了大数据分析是一个迭代的过程,这样的论述方式更能激发读者的思考,这一点实在难能可贵。
本书英文版自出版以来在亚马逊网站大数据分析类书籍中一直名列前茅,而且获得的多为五星级评价,可见国外读者对该书的喜爱。本书中文版译者龚少成技术扎实,在英特尔和 Cloudera 工作期间带领团队成功实施过许多大数据平台项目,而且其英语功底也相当扎实,此外我偶然得知他还是国内少数通过高级口译考试的专业人才。所以本书的中文版交给龚少成翻译实在是件让人欣慰的事情。本书中文版初稿也证实了我的判断,不仅保持了英文版的风格,而且语言也十分流畅。如果你了解 Scala 语言,还有一些统计学和机器学习基础,那么本书是你学习 Spark 时必备的书籍之一!
——苗凯翔,Cloudera 公司副总裁
这本书的独到之处在于,它将Spark的强大功能与实际的数据分析场景紧密结合,提供了一种全新的思考方式。我发现书中对于数据可视化在Spark分析流程中的作用有独到的见解,强调了如何通过直观的图表来呈现复杂的分析结果,并辅助决策。这与我以往的学习经历有所不同,以往的书籍更多地聚焦于算法和技术本身,而忽略了结果的呈现。书中对于实时数据流处理和批处理的融合应用,也给我带来了启发。作者不仅讲解了如何构建独立的流处理和批处理系统,还探讨了如何将两者结合,实现更灵活、更全面的数据分析解决方案。我还在书中看到了关于如何构建数据湖和数据仓库在Spark生态中的应用,这对于我理解整个大数据架构非常有帮助。总而言之,这本书不仅仅是技术教程,更是一本关于如何用Spark解决实际数据问题的思想指南,让我对未来的数据分析工作充满了信心。
评分读完《Spark高级数据分析》这本书,我最大的感受是它的系统性和前瞻性。作者并没有停留在对Spark基础API的简单罗列,而是深入探讨了Spark的架构原理、内存管理、容错机制等核心内容,这让我对Spark的底层运作有了更清晰的认识,从而能够更好地进行性能调优。书中对于图计算、流式处理等高级特性的介绍也让我耳目一新,这无疑为我打开了新的数据分析思路。特别是关于流式数据处理的部分,在如今实时数据需求日益增长的背景下,掌握这部分技能显得尤为重要。作者通过详细的示例,展示了如何构建实时的数据管道,实现数据的即时分析和反馈,这对于需要快速响应市场变化的业务场景来说,简直是福音。我之前一直觉得流式处理的概念有些抽象,但在这本书的讲解下,变得非常直观易懂。此外,书中还涉及了一些关于Spark与机器学习库(如MLlib)的集成,以及如何利用Spark进行复杂的ETL(Extract, Transform, Load)操作,这些都是我工作中经常会遇到的挑战。
评分这本书的封面设计确实很吸引人,一种低饱和度的蓝色和银色搭配,给人一种沉稳而又充满科技感的感觉,让我立刻联想到了数据在数字世界中的流动与碰撞。我一直对大数据分析领域抱有浓厚的兴趣,尤其是在实际应用层面,希望能找到一本能够真正指导我解决问题的书籍。最近工作上遇到了一些关于用户行为预测的瓶颈,需要更深入地理解如何从海量数据中挖掘出有价值的洞察,并将其转化为可行的策略。在市场上浏览时,这本书的名字《Spark高级数据分析》映入眼帘,立刻就抓住了我的注意力。Spark这个名字本身就意味着高效和强大,而“高级数据分析”则承诺了更深层次的知识和技能。我非常期待书中能详细讲解如何利用Spark的分布式计算能力,处理那些传统工具难以应对的庞大数据集,并且能够介绍一些前沿的数据建模技术,例如机器学习算法在实际业务场景中的应用,以及如何优化模型以提高预测的准确性和效率。我尤其关注那些关于特征工程、模型评估和部署的内容,因为这直接关系到分析结果的实际价值。希望书中能提供一些真实的案例研究,让我能看到理论知识是如何转化为商业成功的。
评分拿到《Spark高级数据分析》这本书,我首先被其严谨的逻辑结构所吸引。从分布式计算的基础概念讲起,一步步深入到Spark的各个组件和应用场景,整个过程非常流畅,如同行云流水。书中对于Spark SQL的讲解尤为精彩,它不仅介绍了SQL语法,还深入分析了查询优化器的工作原理,以及如何编写高效的Spark SQL查询语句。这对于我这种SQL背景较强的分析师来说,无疑是一大福音。我一直认为,SQL是数据分析的基石,而Spark SQL则是在此基础上实现大规模数据处理的强大工具。书中关于如何利用Spark MLlib进行模型训练和评估的部分,也提供了非常实用的指导。我特别关注了书中关于如何处理非结构化数据以及如何进行文本挖掘的内容,这在当前大数据分析领域是越来越重要的方向。这本书的实践性非常强,每个概念的讲解都配有详细的代码示例,让我能够边学边练,快速掌握知识。
评分这本书就像一位经验丰富的老友,循序渐进地引导我探索Spark的深层奥秘。它不仅仅是技术的堆砌,更充满了作者对数据分析哲学的思考。我特别喜欢其中关于如何将业务问题转化为数据分析任务的设计思路,这种从宏观到微观的视角,帮助我跳出了纯粹的技术框架,更关注分析结果的实际意义。书中对数据倾斜、 Shuffle 过程的深度剖析,以及相应的解决方案,让我茅塞顿开。之前在处理大型数据集时,经常会遇到性能瓶颈,但通过学习书中关于如何识别和解决这些问题的技巧,我能够显著提升Spark作业的运行效率。而且,书中对一些分布式系统中常见的陷阱和误区进行了生动的阐释,让我避免了走许多弯路。我还在书中看到了关于如何构建健壮、可扩展的数据处理流程的讨论,这对于团队协作和项目管理都非常有价值。整体而言,这本书的深度和广度都远超我的预期,让我受益匪浅。
评分书很棒,讲的很清楚详细。
评分还是比较基础,可以看懂,是正版,好评。
评分质量好,是正品,物流快!
评分没仔细看这本书,为了京豆才写的
评分书挺好的,印刷什么的都挺好的,反正一直在京东买书,也没有去过什么其他的地方
评分挺不错的,是正品,看了很久了。
评分送货快,包装完整
评分Spark高级数据分析
评分内容略少,写的不错
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等,本站所有链接都为正版商品购买链接。
© 2025 windowsfront.com All Rights Reserved. 静流书站 版权所有