产品特色

编辑推荐

　　作者团队由来自中国*大的独立第三方移动数据服务平台TalkingData的十余位一线技术专家组成，不仅能确保内容的专业性、系统性，而且能结合国内先进的大数据公司的实战经验，帮助大数据从业人员熟悉大数据相关的知识和工具，助力企业的管理者建立数据驱动文化并构建大数据团队。

　　通过此书，企业管理者能够建立起智能企业的定位，业内专业人士能够有更清晰的战略全景和逻辑脉络。此书将成为大数据从业人员、大数据企业管理人员以及大数据领域的投资者、监管者的必备参考书籍。

内容简介

　　大数据这个概念自诞生以来，已经经历了几次飞跃。当今社会，对传统大数据中的量的需求已经很容易达到，大数据的竞争转向了数据质量。只有将深入在各种行业情景中、非结构化的、与业务流程直接相关的高价值数据挖掘出来，企业才有可能基于自己的业务进行分析甚至预测。因此，大数据时代进入了一个新的纪元——智能数据时代。

　　本书作者团队来着大数据行业的领军企业TalkingData，他们站在企业管理者的角度上，系统全面地剖析了企业如何转型以适应当今智能数据时代。全书以大数据相关的知识和工具为起点，重点介绍了企业大数据实施的三个方面——数据管理、数据工程和数据科学，并结合一线的大数据实战经验，帮助读者更深刻地理解如何构筑数据驱动型企业。

作者简介

TalkingData（北京腾云天下科技有限公司）成立于2011年，是中国*大的独立第三方移动数据服务平台。TalkingData一直致力于数据的深耕与数据价值的挖掘，从数据的采集、处理到数据的分析，再到数据的应用与咨询。TalkingData已经形成了一套以“智能数据平台”（SmartDP）为主的完整数据应用体系，并构筑了一套以数据商业化平台、数据服务平台及数据合作平台为核心的数据生态。目前，TalkingData的平均月活跃用户为6.5亿，为超过12万款移动应用以及10万应用开发者提供服务。覆盖的客户主要为金融、地产、快消、零售、出行、政府等行业中的领军企业，连续三年实现业务的三倍快速增长。

精彩书评

　　作为大数据领域的先峰，TalkingData的发展速度有目共睹，而他们服务企业的能力更令人刮目相看。数字经济是一个综合课题，涉及对商业的理解、大数据治理、分析洞察、机器学习等。其实大数据并非一个新的话题，在它真正产生巨大价值之前，新旧经济将产生冲突然后相互融通。企业开始明白不能错过这个前所未有的智能变革的时机，但却轻叹路在何方。本书是TalkingData多年的经验总结，向读者分享一个较完整的数字化的框架设计。虽然面对不同的环境不存在必胜的方法，但在让人眼花缭乱的智能数据年代，本书的出现正如一盏明灯，为企业指明了大数据战略方向。

　　——车品觉，前阿里巴巴集团副总裁/数据委员会会长，红杉资本合伙人

　　在智能时代，数据的价值毋庸置疑，但数据就像埋在石头里的矿物，必须经过挖掘与提炼才能变成有价值的东西。近几年，不少大数据相关的工具应运而生，对海量数据的实时记录与分析，可用数据的选择，合理数据的筛选，给大数据工程师带来新的要求。大数据也推动了云服务的发展，越来越多的企业通过云来打通数据孤岛，让多维度的数据可以在安全的环境下整合分析，从而提高了营销效率，提升了用户体验，新应用场景与价值不断出现。本书针对不同类型的数据场景，深入浅出地介绍了常用的工具，也给出不少实操的技巧，给大数据工程师提供了全面的指导。

　　——汤道生，腾讯公司社交网络事业群总裁，集团高级执行副总裁

　　企业在数字化转型时期，需要构建和优化企业大数据管理平台，不断挖掘应用机会。本书既指明方向，又提供方法，相信能很好指导企业向智能数据时代演进。

　　——朱战备，万达首席信息官

　　数据作为一种资源，已经成为包括AI在内几乎所有行业的基础，如何把数据分析和洞察结果应用到业务中已是刚需。本书为我们展示了如何通过对海量数据的挖掘和运用，使企业融入新一波的生产力发展浪潮。其中总结的经验值得所有大数据与相关领域从业人员学习。

　　——简仁贤，竹间智能创始人及CEO

　　大数据的海量及庞杂对它的管理及应用带来了极大的挑战。本书的作者们对大数据的实践现状做了阶段性的总结，分享了宝贵的实战经验，给未来数据的智能化提供了丰富的扩展空间。

　　——吕云山，美国PetuumInc首席架构师

目录

前言

第一篇　大数据基础知识

第1章　大数据的基本定义　/ 2

1.1　大数据分析的出现　/ 3

1.2　大数据如何发掘价值　/ 3

1.3　大数据处理的关键——数据类型　/ 5

1.4　大数据处理的微妙之处　/ 6

1.5　大数据环境下的处理分析工具　/ 7

1.6　智能数据时代到来　/ 10

第2章　数据的艺术　/ 12

2.1　评估可能性的艺术　/ 12

2.2　了解现状　/ 13

2.3　自我评估、完善度、信息架构　/ 14

2.4　愿景部署　/ 19

2.5　现在和将来的数据仓库　/ 20

2.6　实时建议和操作　/ 25

2.7　验证提出的愿景　/ 26

第3章　大数据：有所为有所不为　/ 28

3.1　大数据分析最佳实践　/ 28

3.2　从小做起　/ 29

3.3　关注大局　/ 30

3.4　避免最差实践　/ 30

3.5　步步为营　/ 32

3.6　学会利用异常数据　/ 34

3.7　速度与精度的抉择　/ 35

3.8　内存计算　/ 36

第二篇　大数据工具和技术

第4章　分布式世界中的设计　/ 42

4.1　可见性　/ 43

4.2　保持简单的重要性　/ 44

4.3　组合　/ 44

4.4　分布式状态　/ 49

4.5　CAP原则　/ 51

4.6　松耦合系统　/ 53

4.7　速度　/ 55

4.8　总结　/ 58

第5章　大数据分析工具　/ 59

5.1　Apache Hadoop　/ 59

5.2　Apache Spark　/ 69

5.3　NoSQL数据库　/ 73

5.4　MongoDB　/ 89

第三篇　数据管理

第6章　大数据的类型　/ 108

6.1　定义结构化数据　/ 109

6.2　探秘结构化数据来源　/ 109

6.3　关系数据库在大数据中扮演的角色　/ 110

6.4　非结构化数据　/ 111

6.5　内容管理系统在大数据管理中的作用　/ 112

6.6　实时和非实时条件　/ 113

6.7　大数据集成　/ 114

第7章　大数据的新范式：我们想要从大数据系统中获得什么　/ 116

7.1　稳定性和容错性　/ 116

7.2　横向扩容　/ 117

7.3　可扩展性　/ 117

7.4　即席查询　/ 117

7.5　最小化维护　/ 117

7.6　可调试性　/ 118

7.7　完全增量式架构　/ 118

7.8　操作复杂性　/ 119

7.9　极其复杂地实现最终一致性　/ 119

7.10　人为容错的缺陷　/ 121

7.11　Lambda架构　/ 121

第8章　数据管理　/ 125

8.1　数据管理成熟度评估　/ 125

8.2　元数据管理　/ 128

8.3　数据治理　/ 130

8.4　数据质量管理　/ 134

8.5　参考数据与主数据管理　/ 137

第四篇　数据工程

第9章　理解数据业务流程　/ 142

9.1　理解商业动机　/ 142

9.2　调查计划　/ 146

9.3　初步研究　/ 146

9.4　专家咨询　/ 146

9.5　识别关键成功因素　/ 147

9.6　优先考虑早期路线图的执行　/ 150

9.7　战略图谱　/ 154

第10章　大数据和云计算　/ 163

10.1　云计算的定义　/ 163

10.2　私有云与公有云计算　/ 165

10.3　IaaS典型平台——亚马逊云平台AWS　/ 165

10.4　PaaS典型平台　/ 172

10.5　SaaS典型平台　/ 176

第11章　数据收集　/ 179

11.1　收集一切　/ 179

11.2　为数据源设置优先级　/ 181

11.3　关联单独的数据　/ 182

11.4　如何收集数据　/ 184

11.5　数据采购　/ 186

11.6　数据保留　/ 190

第12章　数据质量和数据预处理　/ 191

12.1　数据质量：为什么要对数据做预处理　/ 191

12.2　数据预处理的主要工作　/ 192

第13章　数据安全和隐私　/ 195

13.1　数据收集：了解隐私的最前沿　/ 195

13.2　策略考虑因素　/ 196

13.3　实施考虑因素　/ 200

13.4　总结　/ 201

第五篇　数据科学

第14章　数据分析　/ 204

14.1　什么是分析　/ 205

14.2　分析的类型　/ 206

第15章　数据探索　/ 221

15.1　概要　/ 221

15.2　数据探索的目标　/ 222

15.3　数据集　/ 222

15.4　描述性统计　/ 225

15.5　数据可视化　/ 229

15.6　数据探索路线图　/ 240

第16章　大数据、数据科学和数据挖掘　/ 242

16.1　先验知识　/ 244

16.2　数据准备　/ 246

16.3　建模　/ 249

16.4　应用　/ 253

16.5　总结　/ 255

第六篇　构筑数据驱动型企业

第17章　建立数据驱动文化　/ 258

17.1　数据收集　/ 260

17.2　报告　/ 261

17.3　警报　/ 262

17.4　从报告到警报再到分析　/ 263

17.5　数据驱动的标志　/ 265

17.6　分析成熟度　/ 267

第18章　构建大数据团队　/ 271

18.1　数据科学家　/ 271

18.2　团队挑战　/ 272

18.3　不同的团队，不同的目标　/ 272

18.4　别忘了数据　/ 273

18.5　更多挑战　/ 274

18.6　团队与文化　/ 274

18.7　量化成就　/ 275

第七篇　大数据实战

第19章　大数据使用实例　/ 278

19.1　大数据的使用与意义　/ 279

19.2　案例：大数据在金融领域的应用　/ 283

19.3　案例：大数据在地产领域的应用　/ 298

第20章　大数据分析和数据驱动决策的思维实战　/ 309

20.1　无处不在的数据机会　/ 309

20.2　数据科学、数据工程和数据驱动决策　/ 312

20.3　数据处理和大数据　/ 314

20.4　从大数据1.0到大数据2.0　/ 314

20.5　数据和数据科学能力作为战略资产　/ 315

20.6　数据分析思维　/ 317

20.7　具备数据分析技能的管理者　/ 318

20.8　数据挖掘与数据科学　/ 319

20.9　化学反应不只限于试管：数据科学与数据科学家的工作　/ 320

20.10　总结　/ 321

第21章　结语

21.1　全面解读　/ 322

21.2　通往大数据之路　/ 323

21.3　思索大数据的真实一面　/ 324

21.4　大数据实践　/ 325

21.5　深度解读大数据处理流程　/ 325

21.6　大数据可视化　/ 329

21.7　大数据隐私　/ 330

前言/序言

　　大数据这个概念自诞生以来，已经经历了几次飞跃。时至今日，大数据这个名词频繁地与人工智能、DT、预测等词汇放在一起，看上去数据的发展已经成为与科技发展甚至整个社会发展平行的存在——?一切的颠覆都离不开数据。大数据是一种赋能工具，它的作用是帮助行业加速价值的流通，减少信息不对称，提高交易效率。

　　市面上大数据行业相关的书籍已经汗牛充栋，然而还没有这样一本书——全面地解析大数据、企业和人之间的关系，站在企业管理者的角度解答如何利用大数据加速发展、攫取更多的价值；更没有人全面告诉企业的管理者，如果想转型以适应当今智能数据时代，应该储备何种知识和人才。TalkingData作为大数据行业的领军企业，决定写这样一本书。

　　竞争环境：行业快速发展，传统行业加速转型

　　根据IDC的数据显示，到2020年，全球大数据技术和服务市场预计将达到589亿美元，其中大数据基础设施占277亿美元，大数据软件占159亿美元，大数据服务占（包括专业和支持服务）153亿美元。相比于北美等发达地区，中国大数据产业虽然年轻，但是处于快速发展期。根据DT大数据产业创新研究院（DTiii）的预测，从现在到2025年，大数据产业的经济总量将呈指数级增长（如下图），覆盖的行业包括政府、金融、电信、交通、工业、能源、房地产、教育、商业服务、医疗、文娱、农业等。

　　2015—2025年中国大数据产业增长趋势图

　　注：数据来源于DT大数据产业创新研究院（DTiii，2016）。

　　除了飞速发展的整个行业总量之外，大数据行业本身也带有快速颠覆迭代的特征。当今社会，对传统大数据中量的需求已经很容易达到，大数据的竞争转向了数据质量。那些深入在各种行业情境中、非结构化的、与业务流程直接相关的数据，成为高价值的数据类型。只有将这部分数据挖掘出来，企业才有可能基于自己的业务进行分析甚至预测。因此，大数据时代进入了一个新的纪元——智能数据时代。

　　数据和人工智能是智能数据时代的鲜明特征，但是只有数据和人工智能依然不足，还需要人类智慧的参与。数据、人工智能和人类智慧，成为智能数据时代的三大要素。

　　数据的积累可以为人类提供更多更细的洞察分析，人类经验得以增强，人类智慧得以增长。比如，通过更多来自于手机的用户行为分析，企业可以对自己的用户有更多了解，包括他们的生活喜好、消费习惯等，以此产生更多的营销机会。人工智能本身也需要人类智慧的介入，以引导人工智能的方向，提高人工智能的效率。比如，AlphaGo也需要不断地与人类围棋高手对战，依靠人类智慧的辅助，才能持续提升棋力。

　　缺乏人类智慧的持续介入，人工智能对数据的加成作用会随着数据的变化逐步弱化甚至失效；缺乏人工智能，人类无法依靠自身处理如此复杂而且快速变化的数据；缺乏数据，人工智能无法存在，人类智慧的积累也会放缓。数据、人工智能和人类智慧互相促进，组成一个正向的循环。比如情景感知领域，基于手机上体现姿态动作的传感器数据，经过人工智能的算法，可以判断手机用户的动作和姿态（包括走路、骑车、驾驶等）。如果判断不够准确，就需要人工介入，对数据再进行整理和增强、对算法进行优化，直到结果达到可用的程度。同时，具有情景感知能力的手机，可以给应用开发者提供更多的应用场景和体验，比如运动健身、金融风控、物流管理、娱乐体验等，相应地也会产生更多的数据——这些新的数据让人类智慧更快积累，也让人工智能更加强大。比如，通过情景感知数据，发现绝大部分用户在使用App的时候手机都是处于手持状态，那么非手持状态的使用场景是否意味着更大的金融风险？

　　人工智能和人类智慧，让数据岂止“大”？智能数据时代的三大要素聚合裂变，已经产生难以想象的价值。

　　现实差距：人才缺口

　　很多企业在智能数据时代举步维艰，但是也有一些新的企业脱颖而出，利用数据来增强自己的竞争力，在各个领域对传统企业形成巨大的冲击。据A16Z的2016移动互联网报告，以GAFA（谷歌、亚马逊、Facebook、苹果）为代表的数据巨头，已经在数据和技术领域建立起牢固的优势，在年收入规模上比Wintel同盟要大3倍。反过来，它们也在通过数据和技术改变传统行业的形态和模式，包括零售、媒体发行、汽车等。

　　这些新的数据和技术的先锋具有一些共同的特征：实现了业务数据化和数据资产化，能够用数据来驱动场景化的应用，高效地探索和转化商业价值。这样的企业，已经拥有数据驱动的文化，我们叫做智能企业（SmartEnterprise）：

　　1.具有灵活的技术平台和数据科学能力，能支撑足够大的数据量级、足够多的数据维度、足够复杂的数据类型、足够灵活的数据格式、足够低的数据洞察延时等，提高各种数据应用场景的交付效率。

　　2.具有统一的数据管理策略，以管理跨企业的、一致的数据视图，能高效地汇聚数据（包括自有数据和第三方数据），也能高效地输出数据和数据服务。

　　3.具有端到端的数据工程能力，以支撑业务线的可管理的数据运营，形成数据闭环和持续的业务优化。

　　若要转型为智能企业，人的智慧尤为重要，因此对于无论是大数据企业还是亟待转型的传统企业来说，都提出了人才的类型、数量和知识结构的严苛挑战。但是一个严酷的现实是，现在的人才储备是远远跟不上行业需求的。从下图我们可以看出，在搭建大数据平台应用来应对转型的企业所遇到的痛点中，有一半多的原因是卡在了人才不足这个关口上。根据DT大数据产业创新研究院（DTiii）资料显示，到2025年，中国的大数据人才缺口将高达200万。这不仅仅是在中国，在美国问题同样严重。McKinsey预测：至2018年，美国将有60%的组织设置首席数据官（CDO)，需要400万名具备大数据分析能力的经理和分析师，人才缺口将达到150万；未来八年将有19%的大数据人才需求增长。

　　塔建大数据平台应用方式中遇到的主要困难

　　注：资料来源于CSDN《2015年中国软件开发者白皮书》。

　　从上面的数字我们可以看出，仅仅靠大学设立相关学位专业和社会上多开几个专家培训课程是无法弥补如此大的人才缺口的。智能数据时代大数据人才的培训，需要严谨的知识架构设计、先进的技术工具辅助以及前沿的行业最佳实践的熏陶。这个时候，仅仅靠学术界和社会培训的努力是不够的，身为一线离炮火最近的组织，大数据企业本身应当积极投入到为社会进行人才建设和储备的事业中去。

　　智能数据时代人才的知识架构

　　在智能数据时代，对于人才的知识储备的要求是综合的。如下图所示，TalkingData认为智能企业所需的人才应当具备行业领域知识、IT技能和数据科学知识。团队内部的人才组合必须能够合理覆盖这三个知识领域，艰巨的任务才能迎刃而解。

好好阅读好好阅读好好阅读好好阅读好好阅读

好书，值得推荐～都可以看看

书不错，把之前拟迷惑的地方豆豆搞清楚了

非常好刚刚古古怪怪

很好很好很好很好很好很好

京东的东西，还是可以的。

活动价格非常不错，值得购入。

好书，值得推荐～都可以看看

好好阅读好好阅读好好阅读好好阅读好好阅读