编辑推荐

　　关于Next系列

　　有一些知识，现在不去了解，三年后你会无法跟人交流

　　有一些信息，现在不去思考，五年后你会被远远甩在脑后

　　有一些机遇，现在不去把握，十年后你会后悔不已

　　在信息瞬间可得的时代，一己之说、强词之理、肤浅之见甚嚣尘上。而可授业解惑、追根溯源的前沿知识尤为难得。于是，Next系列图书应运而生。这套书纵览前沿科技主题，为非专业人士拨云见日；聚焦关键话题，盖以基础知识深入浅出——每一册图书都是简练紧凑的，勾勒出主题的提纲挈领之道，只为让读者在短时间内获得有效的前沿信息和观点。

　　Next是下一个风口，下一轮科技浪潮、下一次大事件，下一拨机遇和挑战

　　Next帮你整理前沿知识，厘清发展动态，把脉未来方向，告诉你接下来你要做什么？

　　是给企业家的也是给政府的更是给每一个不愿被时代淘汰的人

　　只回答一个问题——What’s Next？

　　· 《麻省理工学院科技评论》称现实挖掘是即将改变世界的十大技术之一。的确，数据采集是利用数据的第一步也是关键一步，人们在关注大数据的同时，往往忘记了更重要的一部——数据挖掘。在人类步入数字化时代的今天，数据的采集工具种类越来越多元化、智能化，企业和政府如何在数据源头上把控好是利用大数据的关键。本书作者通过多年的研究，从个体、群体到国家等多个层面为我们一一展示和讲解了，如何利用大数据造福于人类。

内容简介

　　这本《现实挖掘》的两位作者认为，在大数据时代，海量的数据已经扑面而来，接下来我们要做的就是以负责和谨慎的态度采集数据，挖掘出其社会价值。他们从个体到国家等五个层面为我们剖析了数据挖掘的重要意义，并详细介绍了数据采集的方法和相关的案例。

　　在中国，随着政府以及产业对于大数据的推动，大数据已经逐步渗透到行业企业中，数据带来的红利不可估量。如何做好数据采集关系大数据战略的全局。《现实挖掘》作者基于通过多年的大数据研究和咨询经验，为我们详细解读了现实挖掘以及大数据带来的美好世界。

作者简介

　　内森﹒伊格尔，任职于哈佛大学和西北大学，2012年入选《连线》杂志 “即将改变世界的50人”。其学术文章曾在《科学》《自然》等多个学术杂志及主流媒体上发表。此外，他还是美国Jana公司的CEO及联合创始人。

　　凯特﹒格林，科技领域自由撰稿人。2005~2009年担任《麻省理工学院科技评论》信息科技编辑。

精彩书评

　　这本书以睿智的视角从微观到宏观，解读了大数据如何改变我们的生活。伊格尔有关人类行为数据挖掘的研究成果让人激动不已，再加上格林的独特洞察力使得《现实挖掘》不可不读。

　　——肯尼思·库克耶 《大数据时代》合著者

　　在《现实挖掘》这本书中，我们将了解到从个体层面到国家层面，电子设备对人类数据采集的重要意义。研究人员们引导着这个奇幻的旅程，他们已经与企业家们成功建起了合作的桥梁。

　　——艾伯特-拉斯洛·巴拉巴西 《链接》作者

目录

序 言

第一部分 从个体开始挖掘

第一章 智能手机、传感器和生命记录

麻省理工学院的数据追踪项目

手机——最佳人体传感器

更加精确的生物传感器

可以感知周围环境的机器学习

生命全记录

第二章 如何充分利用个人数据？

可以帮你戒烟的手机应用

老人走失、汽车被盗前预警

大数据，大隐患

健康激励是与非

车载感应功与过

无法回避的个人隐私

第二部分 数据驱动下的社区和组织

第三章 群体的数据获取

智能标识卡

科学地盯紧你的员工

建设更美好社区

声景监视

第四章 数据价值如何落地？

社交网络的介入

社区笔记的贡献

第三部分 大数据，让城市更美好

第五章 城市数据的大用途

交通数据

用数据预测犯罪

用视频监控犯罪

如何获得公众数据

监控的合法性讨论

第六章 将适合的资源放在适合的位置

交通预测和意外事件控制

道路资源配置

可追踪的病菌

预防犯罪

第四部分 大数据治国

第七章 当数据上升至国家层面

人口普查

通话记录

谷歌、脸谱网、推特

银行交易

第八章 让大数据发挥作用的最佳方法

人口快照

人口流动数据的重要意义

让广告更聪明

通过推文识别危机

挖掘金融的未来

第五部分 世界数据

第九章 大数据能为世界带来什么？

全球人口普查

航运和航海的足迹

谷歌“趋势”

社交网络的全球数据

现实挖掘的实际核查

第十章 明天会更好

航空线路数据和疫病传播

疾病预测

用数百万人的网页搜索预测感冒的活跃度

流行病网络

结 语

精彩书摘

　　智能手机、传感器和生命记录

　　如今，采集我们自身的众多日常数据已相当容易，各种各样的技术通过移动电话、软件、皮肤电流监控器、可穿戴摄像头等，追踪着我们的习惯、位置、消费、路线、社交以及情绪。的确，因我们日常行为而产生的“数据排放”，其释放和捕捉的便利性给研究人员们带来了新的机遇。不仅使研究者可以更深入地了解这些行为，还有助于他们利用这些观察来设计更适应人们实际行为的系统。

　　传感器、软件以及它们在我们生活中的广泛存在是推动这一趋势的重要因素，而一类重要的传感器就植入在如今的移动电话中。随着移动电话的高度普及，它成为全球几乎所有人的必需品，它已经当仁不让地成为采集个体数据的最基本工具。到2012年年底，全球已有近60亿个移动电话客户端。即使是最简单的手机，每次与通信基站交换信号时，也会提供其使用者的位置信息。移动电话最初只是通信工具，如今已逐渐成为装配了多种附加传感器的随身计算设备。这些附加装置包括可以监测身体活动的加速仪、可以测度我们位置的gPS（全球定位系统）芯片、蓝牙模块等近距离无线传输协议、可以推断附近情况的麦克风等，甚至简单的通话记录也可以用来衡量我们的社交进展。

　　手机一旦掌握了你的使用习惯，它就可以帮助你安排行程、提供活动建议，或者在没有手动设置的情况下发出提醒。它可以调整使用模式以适应多样的环境，比如在影院时自动关闭手机铃声，电影结束后再自动打开。熟知你生活习惯的手机还可以为你推荐酒吧，那里的常客们跟你有着相似的爱好，或者刚好在你想要尝试去一家新餐厅吃晚饭时向你推荐一个正合你意的餐馆。

　　移动电话中的数据还能够提供人们的实时位置移动信息，在研究疟疾或流感这类疾病时，它可能成为建立传染路径模型的关键数据。另外，研究人员还发现，通过手机上合适的传感器和软件捕捉用户的行为变化和谈话模式，可以比其他医学检查更早发现某些疾病的预兆，如抑郁症或帕金森综合征。在使用个人数据让人们的生活变得更加轻松和健康方面，现实挖掘拥有很大的潜力，这些只是几个仍处于早期阶段的应用案例。

　　追踪我们个人信息的不仅仅是移动电话，我们的个人计算机使用记录也在被越来越多的软件监测。研究人员推测，人们越了解自己在某些网页或者电子邮件上花费了多少时间，就越容易掌握和调整日常效率。当然，由于移动电话变成了空前强大的计算设备，在手机上追踪人们应用程序使用记录的软件也被开发出来。将这些软件数据与通过手机传感器和其他程序采集到的数据放在一起，可以推断出很多个人行为信息。

　　除了移动电话和个人计算机之外，人们在日常生活、运动或是睡觉时，也越来越多地主动携带各种专用传感设备，以掌握自己的生理习惯和健康状况。谷歌眼镜，实际上是一个装配了小型显示屏、摄像头、麦克风、处理器和无线通信的头部穿戴系统。因其通过连续拍照和摄像的方式使你与外部世界保持联系并记录你的生活而广受关注。更为普通且不显眼的计步器和睡眠监测仪正在获得商家的关注。这些设备和手机上模拟类似功能的应用程序所产生的数据，可以精确地显示一个人的身体活动状况。亲眼看到这些数据可以激励人们生活得更加健康。近年来，脸谱网（Facebook）和推特（twitter）这些社交网站的日益流行，已经形成一个庞大的个人数据库。人们在这些站点上进行“状态更新”，发布可以反映其生活状态的短消息，回答诸如“你在做什么？”“你感觉怎么样？”“你周边发生了什么？”“现在有什么让你感兴趣的事情？”这样的问题。可以说，状态更新在某种意义上来说相当于用户对一个社会学家的社会调查问卷做出的回答。

　　一经发布，这些状态更新就会被推送给社交网络中的其他人，在某些情况下还是在线公开的，可以被任何想看的人看到。一些研究人员在探索根据日历事件和位置信息，自动进行状态更新的方式。另一些人则试图将这些状态信息集中解读，已有软件开发者编出一些简单程序来分析这些内容。这些程序通常将特定关键词进行可视化，依据词汇出现的频率设定字体的展示大小。通过这种方式，人们可以大致了解自己一段时间内的活动和感受。

　　越来越多的人开始着迷于自我的个人数据，并将他们能获得的所有自身信息结合起来，包括手机通信、电脑使用、生物传感器、摄像或手工录入数据记录等。这种极端的量化和编目方式就是所谓的“生命记录”。尽管这种方式并不算普遍，它作为一种更好地了解自身习惯的方法，已经吸引了一些人。

　　工程师和设计师推动了生命记录的发展，因为他们发明了让人更容易进行生命记录的网络应用和其他技术工具。随着谷歌眼镜和其他生命记录工具的出现，更重要的是，这些工具与人们日常生活结合得更加紧密，生命记录对普通人来说将不再困难。这种活动甚至可能克服社会成见，并被更多不精通技术的人们所接纳。

　　智能手机、传感器和生命记录

　　如今，采集我们自身的众多日常数据已相当容易，各种各样的技术通过移动电话、软件、皮肤电流监控器、可穿戴摄像头等，追踪着我们的习惯、位置、消费、路线、社交以及情绪。的确，因我们日常行为而产生的“数据排放”，其释放和捕捉的便利性给研究人员们带来了新的机遇。不仅使研究者可以更深入地了解这些行为，还有助于他们利用这些观察来设计更适应人们实际行为的系统。

　　传感器、软件以及它们在我们生活中的广泛存在是推动这一趋势的重要因素，而一类重要的传感器就植入在如今的移动电话中。随着移动电话的高度普及，它成为全球几乎所有人的必需品，它已经当仁不让地成为采集个体数据的最基本工具。到2012年年底，全球已有近60亿个移动电话客户端。即使是最简单的手机，每次与通信基站交换信号时，也会提供其使用者的位置信息。移动电话最初只是通信工具，如今已逐渐成为装配了多种附加传感器的随身计算设备。这些附加装置包括可以监测身体活动的加速仪、可以测度我们位置的gPS（全球定位系统）芯片、蓝牙模块等近距离无线传输协议、可以推断附近情况的麦克风等，甚至简单的通话记录也可以用来衡量我们的社交进展。

　　手机一旦掌握了你的使用习惯，它就可以帮助你安排行程、提供活动建议，或者在没有手动设置的情况下发出提醒。它可以调整使用模式以适应多样的环境，比如在影院时自动关闭手机铃声，电影结束后再自动打开。熟知你生活习惯的手机还可以为你推荐酒吧，那里的常客们跟你有着相似的爱好，或者刚好在你想要尝试去一家新餐厅吃晚饭时向你推荐一个正合你意的餐馆。

　　移动电话中的数据还能够提供人们的实时位置移动信息，在研究疟疾或流感这类疾病时，它可能成为建立传染路径模型的关键数据。另外，研究人员还发现，通过手机上合适的传感器和软件捕捉用户的行为变化和谈话模式，可以比其他医学检查更早发现某些疾病的预兆，如抑郁症或帕金森综合征。在使用个人数据让人们的生活变得更加轻松和健康方面，现实挖掘拥有很大的潜力，这些只是几个仍处于早期阶段的应用案例。

　　追踪我们个人信息的不仅仅是移动电话，我们的个人计算机使用记录也在被越来越多的软件监测。研究人员推测，人们越了解自己在某些网页或者电子邮件上花费了多少时间，就越容易掌握和调整日常效率。当然，由于移动电话变成了空前强大的计算设备，在手机上追踪人们应用程序使用记录的软件也被开发出来。将这些软件数据与通过手机传感器和其他程序采集到的数据放在一起，可以推断出很多个人行为信息。

　　除了移动电话和个人计算机之外，人们在日常生活、运动或是睡觉时，也越来越多地主动携带各种专用传感设备，以掌握自己的生理习惯和健康状况。谷歌眼镜，实际上是一个装配了小型显示屏、摄像头、麦克风、处理器和无线通信的头部穿戴系统。因其通过连续拍照和摄像的方式使你与外部世界保持联系并记录你的生活而广受关注。更为普通且不显眼的计步器和睡眠监测仪正在获得商家的关注。这些设备和手机上模拟类似功能的应用程序所产生的数据，可以精确地显示一个人的身体活动状况。亲眼看到这些数据可以激励人们生活得更加健康。近年来，脸谱网（Facebook）和推特（twitter）这些社交网站的日益流行，已经形成一个庞大的个人数据库。人们在这些站点上进行“状态更新”，发布可以反映其生活状态的短消息，回答诸如“你在做什么？”“你感觉怎么样？”“你周边发生了什么？”“现在有什么让你感兴趣的事情？”这样的问题。可以说，状态更新在某种意义上来说相当于用户对一个社会学家的社会调查问卷做出的回答。

　　一经发布，这些状态更新就会被推送给社交网络中的其他人，在某些情况下还是在线公开的，可以被任何想看的人看到。一些研究人员在探索根据日历事件和位置信息，自动进行状态更新的方式。另一些人则试图将这些状态信息集中解读，已有软件开发者编出一些简单程序来分析这些内容。这些程序通常将特定关键词进行可视化，依据词汇出现的频率设定字体的展示大小。通过这种方式，人们可以大致了解自己一段时间内的活动和感受。

　　越来越多的人开始着迷于自我的个人数据，并将他们能获得的所有自身信息结合起来，包括手机通信、电脑使用、生物传感器、摄像或手工录入数据记录等。这种极端的量化和编目方式就是所谓的“生命记录”。尽管这种方式并不算普遍，它作为一种更好地了解自身习惯的方法，已经吸引了一些人。

　　工程师和设计师推动了生命记录的发展，因为他们发明了让人更容易进行生命记录的网络应用和其他技术工具。随着谷歌眼镜和其他生命记录工具的出现，更重要的是，这些工具与人们日常生活结合得更加紧密，生命记录对普通人来说将不再困难。这种活动甚至可能克服社会成见，并被更多不精通技术的人们所接纳。

　　……

前言/序言

　　大数据正在席卷全球。这个话题如今频繁见诸各种会议、专著、论文和企业的讨论中。这当然是事出有因的：对以往深不可测的大量数据进行挖掘，从而发现趋势甚至预测未来，这样的想法的确非常具有吸引力。但是正如这些会议、专著、论文和商业计划中所阐述的，弄明白如何处理巨大体量的数据，并使其发挥更好的作用并不是一件简单的事情。

　　我们将大数据定义为人或物与数字网络世界之间相互作用而产生的信息集合。它可以是数年间采集的关于一个人的单一变量的数据，也可以是在某一瞬间采集的关于数亿人的多变量数据。大数据可能涉及的时间长、囊括的主题多或者涵盖的范畴广，也可能是这三种特征间的组合。由于各种技术因素的汇集，大数据已经成为我们现代世界的一个特征。高性能的移动互联智能设备就在你的口袋中采集数据、进行运算，然后发送给远程服务器。云计算和日益增长的高密度数据存储设备，为一切信息提供了安身之所。并且，流处理范式使数据可以通过分布式设备进行处理。一些针对大规模数据集设计的编程模型，如MapReduce以及开源的Hadhoop的出现，使人们了解即将到来的信息流是可能的。

　　大数据被定义为我们日常活动产出的数字记录或留下的数字足迹，它是我们生活的元数据。一些人害怕这会带来一个没有隐私的世界：企业对我们的了解比我们自己还多，政府可以监控那些它们认为危险的人。另一些人则认为大数据是数据库这抹彩虹末端的一罐金子，是抓住下一波信息技术趋势的机遇。他们还相信，从这些全世界人们日常生活中产生的海量数据中可以获得有益的东西。

　　作为本书作者，我们是技术专家，属于后者。我们认为，如果从负责任的、审慎的以及对环境敏感的角度来看，大数据可以帮助改善公共卫生、引导个人更好地决策、促进知识的共享以及提升创新速度。大数据的时代已经来临，而且看起来也不会很快结束。因此，保证个人自由和隐私不被侵犯，告知消费者谁在什么时间、以什么为目的获得了他们的数据就很重要。我们相信，在小心谨慎进行数据采集的前提下，大数据就可以被用来设计成更好的系统，以及一个可能的更好的世界。我们采用了一个被称为“现实挖掘”（Reality Mining）的方式，不仅对大数据进行分析，而且确保分析能够反映参与人的现实状况，同时在整个过程中始终保持谨慎的数据采集态度。

　　本书的目标是探讨大数据可能的积极方面，特别是展现如何利用对现实的挖掘来设计更好的社会系统。这意味着本书所介绍的理念，将会超越那些简单的描述性分析，如计步数据的柱状图等。我们所探讨的是针对一些可视化的数据表达，比如犯罪行为或疾病暴发的空间分布图等，如何将其转化为具有实际操作意义的行动或政策。我们还考虑了可以使用全球的匿名数据系统的构想。提出诸如“如何在缺乏公共卫生资源的发展中国家，配置疾病传染的预警系统？”这样的问题。根本上，我们希望探寻如何利用大数据让人们的生活变得更加美好。本书分为5个部分，每个部分分别关注不同的数据采集尺度，大数据的内在挑战和机遇。大致同查尔斯·伊姆斯和蕾·伊姆斯夫妇在1977年制作的电影短片《十的力量》中分别观察了宇宙的极大部分和极小部分一样，本书对大数据的讨论也是从小样本渐增到较大的样本。

　　本书的现实挖掘旅程将从个体层面开始，即单个人所产生的数据和应用于单个人的数据。接着，我们升级到邻里和组织层面，再扩展到城市层面，之后是国家层面，最后到达全球层面。诚然，这样的分层框架并不是绝对的，也无法囊括所有的场景类型。当然，在某一层面获取的大数据也可以应用于其他不同层面。我们适时地提及了一些这类多样化应用的例子。不过，5个层次的结构更易把握，也更有助于我们思考在大数据获取和利用过程中面临的种种挑战。

　　这5个部分又分别各有两章。每个部分的第一章详细描述了该层面的数据采集种类、数据采集方式，以及读者在可能的情况下可以如何获得这些数据；第二章则阐释在这些数据的基础上，已经建立或者我们相信可以建立的应用和系统。

　　因此，每部分的第一章作为向导，带领读者对可以挖掘的多种数据类型以及可能的获取途径进行思考。这些途径可能是编写一个手机应用程序来采集使用者的睡眠数据，或是订阅服务商提供的航班数据，又或是基于谷歌进行检索的数据分析。有些多数人不太容易获取的数据，比如移动电话的通话记录，我们也提供了如何有限获取或者寻找其他可能来替代实际数据的建议。

　　在充分理解哪些数据类型可以被挖掘之后，我们接着讨论可以使用这些数据进行现实挖掘的程序。有些系统较为成熟，一些则还处于早期阶段，其他则尚未被开发出来。我们在本书中仅提供了一小部分可用程序的信息，同时也展现了机遇之所在。

　　隐私问题是大数据采集和使用过程中的大麻烦，在本书写作过程中，我们曾考虑用单独的一章来讨论它，但最终放弃了这个想法。工程师和企业往往在最初的产品构想已经基本完成时，才开始考虑用户或客户的隐私问题。这样的话，隐私特性便成为几近完成的主要设计的添头。我们不希望这本书也变成这样。我们认为，人们对隐私的期望和分享数据的意愿度应该从一开始就被考虑，并烙在每一个应用程序或产品设计中。故依据需要，我们通过探讨隐私问题、人们对数据采集和共享方式的了解程度、人们对这些方式的适应度（适应度往往受到多种因素的影响而不断变动）以及在注重隐私的前提下开发应用来反映这种情绪。

　　需要特别指出的是，本书没有涉及特定的分析方法论，而是将这些留给了其他文章、论文和讨论。大数据技术还在不断发展，现实挖掘的实践者们很快会发现将有更多分析技术可用于他们的数据集。在本书中我们没有排斥某些特定的数 现实挖掘 [Next] 电子书 下载 mobi epub pdf txt

实证写法 举例说明很切题 比大众普及版的人工智能书籍强多了

很小，很精致，携带方便。真不错。

刚刚收到，物流挺快的

好看的书，学到最新的知识，值得推荐给大家看，学习一下，科技实践一切

此用户未填写评价内容

纸质很好，一次买了好几本，现在在外面出差，等回来拍照

一本理科好书，文科生的救赎，开启学习模式！

新的事物，物联网，现在很火的， 很需要多了解。

很不错的书，对物联网的分析很深入，对经济工作管理有指导意义。