内容简介
本选题以科普的方式系统地阐述了大数据前沿技术与研究进展,对技术的来源、结论、对比、用途以及开源软件进行了深入浅出的描述,并不过多地涉及数学符号及基础原理。以大数据可视化为切入点,通过自然语言处理、社交网络挖掘、语义网络与知识图谱三方面非结构化数据处理技术,阐述大数据经典应用,利用基于图数据库、内存计算、分布式存储系统的大数据存储与管理作为大数据平台支撑,进而探讨基于众包技术扩充数据来源与提高数据质量,并围绕大数据环境下的隐私保护问题,探讨了大数据安全技术。
作者简介
阮彤,中科院软件所博士,现任华东理工大学计算机技术研究所副所长,自然语言处理与大数据挖掘实验室主任,副教授。中国计算机学会(CCF)大数据专委会委员,中文信息处理学会“CCIR”专委会委员,中关村大数据联盟学术委员会主任委员。
目录
第1章 大数据可视化 1
1.1 可视化基础 2
1.1.1 可视化释义 2
1.1.2 可视化流程 5
1.1.3 可视化对象 6
1.1.4 可视化方法 10
1.2 大数据可视化介绍 36
1.2.1 大数据可视化特点 37
1.2.2 大尺度数据的可视化 38
1.2.3 快速变化数据的可视化 41
1.2.4 多变量数据的可视化 44
1.2.5 非结构化数据的可视化 50
1.2.6 大数据可视分析 53
1.3 可视化与可视分析研发资源 60
1.3.1 代表性开源与商业软件 60
1.3.2 开发工具与编程语言 61
1.3.3 可视化信息资源 62
1.3.4 部分可视化科研机构 63
参考文献 64
第2章 文本大数据处理 67
2.1 文本大数据概述 67
2.2 中文词法分析 70
2.3 句法分析 73
2.4 语义分析 74
2.5 开源项目与共享工具 75
2.6 文本大数据的部分应用 76
2.6.1 概述 76
2.6.2 基于双数组Trie树的面向微博短文本的分词 77
2.6.3 词义消歧 80
2.6.4 未登录词识别 83
2.6.5 文本分类与文本聚类 84
2.6.6 机器翻译 86
2.6.7 其他应用 87
参考文献 89
第3章 社交网络大数据挖掘 91
3.1 概述 91
3.2 大规模异构网络集成 94
3.2.1 计算模型――COSNET 96
3.2.2 模型求解 98
3.2.3 实验结果 99
3.3 基于交互的网络机器学习 101
3.3.1 网络数据的主动交互学习 101
3.3.2 算法模型――MaxCo 102
3.3.3 网络流数据的主动交互学习 103
3.3.4 算法模型 104
3.4 基于随机路径的高效网络拓扑相似度算法 106
3.4.1 问题定义 107
3.4.2 基于随机路径的网络拓扑相似度算法――Panther 107
3.4.3 实验结果 110
3.4.4 小结 113
3.5 个体行为与网络分布的统一建模框架――M3D 113
3.5.1 研究方案 114
3.5.2 实验验证 115
3.6 总结和展望 117
参考文献 117
第4章 语义大数据――知识图谱 119
4.1 大规模知识图谱技术 119
4.1.1 知识图谱的表示及其在搜索中的展现形式 119
4.1.2 知识图谱的构建 121
4.1.3 知识图谱在搜索中的应用 126
4.1.4 总结 127
4.2 行业知识图谱工具 127
4.2.1 简介 127
4.2.2 常见的行业知识图谱 129
4.2.3 行业知识图谱的构建 131
4.2.4 行业知识图谱的应用 139
4.2.5 应用案例 141
第5章 图数据库――基于图的大数据管理 147
5.1 图数据库简介 147
5.1.1 大图数据 148
5.1.2 OLTP与OLAP 149
5.1.3 图数据模型 151
5.1.4 图查询语言 154
5.2 主流图数据库和图计算引擎 160
5.2.1 最流行的图数据库――Neo4j 160
5.2.2 分布式图数据库――Titan 161
5.2.3 基于RDF三元组库的图数据库――Blazegraph 162
5.2.4 基于Pregel框架的图计算引擎――Giraph、Hama、
GraphLab、GraphX 163
5.3 图数据库关键技术 166
5.3.1 图数据库的存储 166
5.3.2 图数据库的索引 169
5.3.3 图数据库的查询处理 172
5.4 图数据库应用 175
5.4.1 语义万维网 175
5.4.2 社会网络 176
5.4.3 生物信息学 177
第6章 内存计算――高速大数据处理的核心技术 179
6.1 内存计算技术的一个误区 179
6.2 TimesTen的设计思路 180
6.3 Apache Spark的设计思路 182
6.4 SAP HANA的设计思路 184
6.5 YunTable 4.0的产品介绍 186
6.5.1 整体架构与核心技术 186
6.5.2 MPP 188
6.5.3 列存2.0 188
6.5.4 动态数据分发 190
6.5.5 内存计算 191
6.5.6 性能和路线图 191
6.6 总结 192
第7章 分布式存储系统――大数据存储支撑技术 193
7.1 大数据对存储系统带来的挑战及其引发的变革 193
7.2 谷歌文件系统(GFS) 194
7.2.1 支持大数据集存取和离线批处理的分布式存储系统 194
7.2.2 GFS架构分析 195
7.2.3 系统交互 202
7.2.4 主节点的设计 206
7.2.5 容错和诊断 211
7.2.6 小结 214
7.3 支持海量数据和大规模并发访问的分布式对象存储
OpenStack Swift 214
7.3.1 互联网化带来新的存储需求 214
7.3.2 OpenStack Swift的特点 216
7.3.3 Swift的数据模型和架构 219
7.3.4 Swift的API 236
第8章 大数据安全技术 243
8.1 差分隐私保护方法简介 243
8.2 差分隐私研究保护方向――数据发布和数据挖掘 246
8.2.1 基于差分隐私保护的数据发布(DPDR) 246
8.2.2 差分隐私保护数据挖掘(DPDM) 247
8.3 常见隐私保护方法 247
8.3.1 差分隐私保护分类方法 247
8.3.2 差分隐私保护聚类方法 248
8.3.3 差分隐私频繁模式挖掘 249
8.4 应用案例和原型系统 249
参考文献 251
第9章 众包――数据来源与质量保证 255
9.1 众包 255
9.1.1 众包的概念和模型 255
9.1.2 众包的优劣分析 257
9.2 众包的关键技术 257
9.2.1 众包流程 257
9.2.2 任务设计 259
9.2.3 任务分配 260
9.2.4 任务动态优化 261
9.2.5 众包激励机制 261
9.2.6 众包质量保障 263
9.3 众包的成功案例和平台 264
9.3.1 知识百科众包 264
9.3.2 数据众包 264
9.3.3 创新众包 266
9.3.4 软件众包 267
9.3.5 众筹 268
9.3.6 通用智力劳动众包 269
9.3.7 中国的众包平台 269
9.4 众包研究趋势 269
9.5 总结和展望 271
参考文献 271
前言/序言
大数据四个V的定义已经深入人心,然而,有关大数据的探索,无论从大数据科学角度还是应用角度,都处于早期阶段。对于普通的大数据实践者而言,利用较为成熟的大数据基础架构Hadoop、计算引擎Spark,以及诸如Weka3这样的机器学习软件,能够在一定程度上解决数据存储问题、计算与挖掘问题。
然而,对于大量的大数据探索者与实践者而言,还会碰到形形色色的问题。例如,如何合理地可视化大数据,如何实现大数据的隐私保护,如何通过信息检索技术快速在大数据中找到合适的信息等。这些问题也是学术界正在研究的问题。然而,由于产业与学术的分离、学术研究领域细分等现状,大多数从业人员无从了解此类问题的学术界研究现状,也无法判断研究成果是否已经到了可用程度。
在编者主持中关村大数据联盟的线上学术论坛活动中,各行各业的技术主管都希望能了解学术界有关大数据相关的研究方向与成果。然而,由于大数据涉及存储、安全隐私、自然语言处理、可视化等学术研究的方方面面,非编者一人能力可及。因此,在学术论坛中,我们邀请了来自不同院校、不同研究方向的大数据科研工作者,讲解他们与大数据相关的科研工作进展。
本书在论坛报告中选择了部分精华,为了书本的逻辑性与完整性考虑,又邀请了部分知名青年学者增加了部分章节,并对每章内容进行了提炼和扩充。本书综合了多名学者的智慧,使得读者可以高屋建瓴地了解大数据在不同学术研究方向的现状和最新成果。为方便读者阅读,编者与每章作者统一了写作风格,试图以科普的方式系统阐述大数据前沿技术与研究进展,对技术的来源、结论、对比、用途及开源软件进行深入浅出的描述,并不过多地涉及数学符号及基础原理。
全书以大数据可视化(第1章)为切入点,通过自然语言处理(第2章)、社交网络挖掘(第3章)、语义网络与知识图谱(第4章)三方面非结构化数据处理技术,阐述大数据经典应用;利用基于图数据库(第5章)、内存计算(第6章)、分布式存储系统的大数据存储与管理(第7章)作为大数据平台支撑;并围绕大数据环境下的隐私保护(第8章)问题,探讨了大数据安全技术;进而探讨基于众包技术(第9章)扩充数据来源与提高数据质量。通过系统、多方位地总结大数据的技术前沿,使读者可以快速了解大数据在学术方面的最新成果。
阮彤
2015年11月23日
大数据技术前沿 电子书 下载 mobi epub pdf txt