内容简介

本书带领读者身临其境地体验数据科学领域的日常工作，书中的12章即为12个鲜活的实践案例，包括航班延误数据分析、股票配对交易仿真以及二十一点纸牌游戏策略开发等，涵盖统计学、数据库、机器学习和可视化技术等众多知识点。本书的重点是计算推理和问题求解的思维过程，而不涉及具体编程语言的语法细节。本书适合作为统计计算、数据挖掘等相关课程的补充案例教材，也适合该领域的技术人员阅读参考。

作者简介

　　作者简介DeborahNolan（德博拉·诺兰）在改进数学和统计学的教学方法以及为本科生提供拓展服务方面倾注了大量心血。她担任加州大学伯克利分校本科教育的ZaffaroniFamily主席，获得过伯克利分校的大学杰出教学奖，以及普林斯顿大学杰出教学WilliamR.Kenan,Jr.客座教授席位。她是美国统计学会的会士，计算分会和教育分会的前任主席。她也是美国数理统计研究院的会士。她参与指导了数学和理学教师培训计划、加州大学教学培训项目、在职名师培训项目和美国数学教育培训项目。她出版了包括本书在内的多部著作。

　　DuncanTempleLang（邓肯·坦普·朗）从事R语言和S语言程序开发工作20余年，开发了100多个R程序包。他着重探索和开发新的统计计算方法，主要贡献是调研来自其他学科的有发展前景的新范型和新技术，并将其集成到R环境中。他当前的研究工作包括：基于LLVM方法的R语言编译器、R计算的溯源、类型推导，以及快速、灵活的贝叶斯和似然度计算框架（http://r-nimble.org），还有图形处理器（GPU）。现在担任加州大学戴维斯分校数据科学计划项目的主管。

　　Nolan和TempleLang是《XMLandWebTechnologiesforDataScienceinR》一书的共同作者。他们组织和领导了多个NSF资助的暑期计划，其目的是吸引大学生学习统计学领域的研究生课题，以及参加数据科学方面的小型研讨会。他们合作开发了“数据计算的概念”这门课程并在各自的学校里讲授。他们协作开发了支持交互式和可复制的动态文档、基于Web可视化等功能的系统。

目录

译者序
前言
致谢
作者简介
第一部分　数据操作和建模
第1章　基于室内定位系统的位置预测2
1.1　引言2
1.2　原始数据3
1.3　数据清洗和建立用于分析的数据表示10
1.3.1　对于方向数据的探索12
1.3.2　对于MAC地址数据的探索13
1.3.3　对于手持设备位置数据的探索15
1.3.4　数据准备函数的创建17
1.4　信号强度的分析17
1.4.1　信号强度的分布18
1.4.2　信号与距离之间的关系22
1.5　预测位置的最近邻方法26
1.5.1　测试数据的准备26
1.5.2　方向的选择27
1.5.3　发现最近邻29
1.5.4　交叉验证和k的选择31
1.6　练习题34
参考文献36
第2章　樱花公路赛参赛选手比赛时间建模37
2.1　引言37
2.2　将比赛结果表读入R中39
2.3　数据清洗和变量格式化46
2.4　探索所有男选手的跑步时间53
2.4.1　根据大量观察绘制散点图53
2.4.2　对平均成绩构建拟合模型56
2.4.3　横截面数据和协变量63
2.5　为跨年度的个人参赛选手构造记录66
2.6　对个人跑步时间的变化进行建模74
2.7　从网上抓取比赛结果78
2.8　练习题84
参考文献86
第3章　应用统计学方法识别垃圾邮件87
3.1　引言87
3.2　邮件消息解析88
3.3　读取邮件消息91
3.4　文本挖掘和朴素贝叶斯分类94
3.5　在邮件消息中找到单词96
3.5.1　将消息划分成消息头部与消息正文96
3.5.2　从消息正文中移除附件97
3.5.3　从消息正文中抽取单词103
3.5.4　完成数据准备过程105
3.6　实现朴素贝叶斯分类器106
3.6.1　测试数据与训练数据107
3.6.2　训练数据的概率估计108
3.6.3　分类新消息110
3.6.4　计算方面的考虑114
3.7　递归划分与分类树115
3.8　将电子邮件消息组织成R语言数据结构117
3.8.1　处理邮件头部118
3.8.2　处理附件121
3.8.3　在更多的邮件数据上测试代码123
3.8.4　完成处理过程124
3.9　从邮件消息中获取变量126
3.10　探索邮件特征集合133
3.11　使用rpart()模型拟合邮件数据135
3.12　练习题139
参考文献142
第4章　处理机器人和传感器日志文件：寻找圆形目标143
4.1　描述143
4.2　数据144
4.2.1　读取一个完整的日志文件146
4.2.2　探索日志文件150
4.2.3　可视化路径154
4.2.4　探索 “观察”157
4.2.5　范围值的误差分布160
4.3　探测圆形目标162
4.3.1　连接机器人背后的片段166
4.3.2　确定一个片段是否对应于一个圆形168
4.4　实时流数据情况下探测目标180
参考文献182
第5章　针对12GB数据集的分析策略：航班延误案例183
5.1　引言183
5.2　获取航班数据集184
5.3　处理海量数据集：计算航班延误数184
5.3.1　R程序设计环境185
5.3.2　UNIX shell方法186
5.3.3　支持R的SQL数据库188
5.3.4　R的bigmemory程序包191
5.4　使用并行计算进行数据探索：航班延误的分布194
5.4.1　使用foreach编写可并行化的循环194
5.4.2　使用“划分-应用-合并”方法获得更好的性能196
5.4.3　使用“划分-应用-合并”方法发现航班飞行的最佳时间196
5.5　从探索分析到建模：旧飞机会带来较大的延误吗200
参考文献201
第二部分　仿真研究
第6章　股票的配对交易204
6.1　问题提出204
6.2　数据格式208
6.3　金融数据的读取209
6.4　时间序列的可视化211
6.5　查找开仓点和平仓点213
6.5.1　识别仓位213
6.5.2　显示仓位215
6.5.3　查找所有开/平仓216
6.5.4　计算一个仓位的收益218
6.5.5　找到k的最优值220
6.6　仿真研究223
6.6.1　股票价格序列仿真225
6.6.2　提升stockSim()函数的运行速度233
参考文献235
第7章　分支过程的仿真研究236
7.1　引言236
7.2　随机过程探索239
7.3　产生后代241
7.3.1　检查结果244
7.3.2　考虑其他的实现方式245
7.4　性能分析与代码改进245
7.5　从一个作业的后代到全部的后代247
7.6　单元测试248
7.7　函数返回值的结构249
7.8　家族树：分支过程仿真250
7.9　仿真复制254
7.10　练习题260
参考文献261
第8章　具有相变过程的自组织动态系统262
8.1　引言与动机262
8.2　模型263
8.3　实现BML模型265
8.3.1　创建初始网格结构266
8.3.2　测试网格创建函数269
8.3.3　显示网格273
8.3.4　可视化网格273
8.3.5　简单方便的面向对象程序设计276
8.3.6　移动汽车278
8.4　评估代码性能284
8.5　用C实现BML模型295
8.5.1　用C编写算法297
8.5.2　编译、加载和调用C代码303
8.6　运行仿真307
8.7　实验性编译311
参考文献312
第9章　模拟二十一点纸牌游戏313
9.1　引言313
9.2　二十一点游戏基础314
9.3　玩一手二十一点游戏317
9.4　游戏策略321
9.5　玩多手二十一点游戏326
9.6　一个更加精确的发牌器329
9.7　算牌333
9.8　合而为一335
9.9　练习题337
参考文献338
第三部分　数据和Web技术
第10章　棒球：探索关系数据库中的数据340
10.1　引言340
10.2　Sean Lahman数据库341
10.3　汇总球员工资得到球队工资总额343
10.4　合并工资总额数据与其他表中的信息348
10.4.1　在工资总额数据中增加球队名称348
10.4.2　在工资总额数据中增加世界大赛记录351
10.5　探索极端工资352
10.6　练习题354
参考文献355
第11章　CIA世界概况的混搭应用357
11.1　引言357
11.2　采集数据359
11.3　从不同数据源集成数据360
11.4　准备绘图数据361
11.5　使用Google Earth绘图366
11.6　从CIA的XML文件中抽取人口统计信息370
11.7　直接生成KML376
11.8　附加的计算任务381
11.8.1　创建绘图标识381
11.8.2　从字符串生成KML文件的效率381
11.8.3　从HTML文件中抽取纬度和经度383
11.9　练习题383
参考文献386
第12章　利用Web抓取和文本挖掘探索数据科学职位招聘信息388
12.1　引言与动机388
12.2　探索不同的Web网站390
12.3　初步/探索性抓取：Kaggle网站的职位招聘列表395
12.3.1　处理文本399
12.3.2　泛化到其他招聘启事中400
12.3.3　抓取Kaggle招聘启事列表403
12.4　抓取CyberCoders.com404
12.4.1　从一条招聘启事中提取技能列表407
12.4.2　在搜索结果中发现指向招聘启事的链接411
12.4.3　查找招聘启事搜索结果的下一页416
12.4.4　将这些函数集成在一起417
12.5　对任意网站可重用的通用框架418
12.6　抓取Career Builder网站421
12.7　抓取Monster.com网站422
12.8　分析结果：重要的技能424
12.9　Web抓取注意事项430
12.10　练习题431
参考文献431

前言/序言

　　前言我们编写本书有两重目的：一是想让学生能够阅读到计算推理方面的内容以及真实世界中数据分析的细节；二是希望提供有趣而且有用的资料，帮助统计学教师为新型的统计学和数据科学专业的学生讲授一门新拓展课程的重要方面。这门强化型课程是为了揭示数据分析和计算推理方法，而不是注重统计方法学。我们的目标不是提供简短的答案和方案，而是探索在数据科学项目中涉及的各种问题、各种可能的方案以及思维过程。

　　本书目标有很多种常用于数据分析和数据科学的编程语言。我们在本书中重点使用R语言，但也会使用其他类型的领域专用语言（DSL），甚至还会用到UNIXshell语言和C语言。本书不打算讲授包括R语言在内的任何语言的文法或语义，也不会罗列大量数据科学家常用的R语言程序包和函数。本书的编写是为了使读者能够体验数据分析中真实计算问题的思维过程。有很多书籍讲解程序设计，所采用的方法是用一个章节介绍重要概念，再用其他章节介绍一些示例。这种方式是非常有用的，可以作为学习的基本出发点。但是，本书中作为示例的程序代码是由专家编写的最终精良版本，我们不会专门为读者说明编写代码的实际过程，而是直接给出最终结果代码。我们的目的是要举例说明这样的过程：程序员如何着手处理问题，以及如何考虑采取各种方式实现解决方案。这个过程具有高度的动态性和可重复性。我们首先编写一部分代码，然后测试代码、修改代码、精化代码、扩展代码和概化代码。经常出现的情况是，当从第一次尝试或原型中学到经验后，我们会“从头再来”，重新开发一个更简洁、清晰的版本。在这个过程中，我们需要在简洁性、效率、通用性、可重用性、正确的近似结果等各种要求之间做出折中。我们试图找到的方法是，最小化代码修改，但使得代码执行得更快，也更灵活。本书中，我们想要示范说明这个整体过程，以及成熟的程序员经常会根据丰富的经验做出的那些决定。希望本书能对普通教材做出补充，能为学生、研究者（甚至是教师）简要地展示专业数据科学家如何思考日常计算任务。

　　案例研究在统计计算课程中的应用为统计计算（或任何）专业开设一门新的课程，对教师来讲是一项非常耗时的任务。我们常常必须去学习一些新的主题，或起码的基本细节，对它们进行优选和排序，确定哪些主题必须放在课程里，以及按照什么次序排放。我们必须准备大量的作业，以便年复一年地轮换使用。我们还可以布置一些综合性程序设计作业以帮助学生学习，比如矢量化、循环、正则表达式等内容。这些可怕的入门练习对于刚刚接触基本概念的初学者来说是必需的，但这些入门练习不一定要被扩展为大作业或小型项目。我们比较赞成的方法是，在统计计算课程中给学生安排真实的实际数据分析项目，这些项目将新概念紧密结合到常规的数据科学工作流中。我们想为学生揭示数据科学家的日常活动，我们认为学生会对这些内容感兴趣，而且这也有助于他们了解广泛的数据分析应用。进而，我们想要与计算主题一起介绍一些统计方法和概念，这些主题在其他课程中是没有的。基于这些理由，我们的统计计算课程起到了“百宝箱”的作用，囊括数据科学家为了日常工作必须掌握的许多“真实世界”中的主题。

　　在记住了这些目标后，找到教学上有趣的项目和作业是一项极其有挑战性的任务。要求这些项目和作业能够让学生实际完成并能激发他们的兴趣，还要能够示范专门的主题。在加州大学伯克利分校和戴维斯分校讲授计算课程时，我们花费了数日乃至数周的时间来开发作业，对可能的数据集和数据源产生了许多想法。我们往往需要对4～5个相关问题进行“面试”，然后从中筛选出其一并转化为作业。有些问题虽然有趣，但是过于简单或者过于复杂，因而不得不放弃。在进行完数据处理后，有些问题确实成为有趣的统计问题或数据分析问题，而有些问题则不适宜用来讲解那些我们希望学生关注的与计算和统计相关的主题。我们希望本书及其案例研究在将有趣的问题整合到面向数据科学技能的统计课程和计算课程的过程中，为教师扫清障碍。

　　在当今数据科学时代，我们拥有众多丰富而有趣的数据集可用于研究和教学。DebbySwayne、PaulMurrell和HadleyWickham等人组织的DataExpo竞赛就是一个很好的数据来源，可提供各种有趣的、具有挑战性的、可管理的问题。数据仓储（如加州大学欧文分校（UCI）数据仓储）在数量和多样性方面也在不断增长。一些网站（如Kaggle.com）也能提供有趣的问题和数据。本书的关注点与它们稍微有所区别。我们尝试从原始数据开始，鉴别和探索有趣的潜在问题，而不是使用规定好的问题或预处理过的数据。让学生既体验如何获取和处理结构化或半结构化数据，也体验如何限定和构造关于这些数据的有趣问题，我们觉得这些是非常重要的。这个动机源自于我们在工业研究实验室（IBM和贝尔实验室）、暑期学校（如统计学研究中的探索（ESR）暑期学校）以及加州大学伯克利分校和戴维斯分校所进行的教学而积累的经验。

　　广泛的主题本书汇集了非传统的作业、样例方案以及练习题。我们专门选择了涉及多种主题、技术和特征的问题，希望学生能够接触和学习如下这些问

好好好，速度很快

值得读

在京东购物太方便了，送货超级快，服务好！

在京东购物太方便了，送货超级快，服务好！

在京东购物太方便了，送货超级快，服务好！

值得读

好好好，速度很快

好好好，速度很快

好好好，速度很快