大数据技术前沿

大数据技术前沿
作者：阮彤，王昊奋，陈为，张华平，高凯，唐杰 编
出版时间：2016年版
内容简介
　　本选题以科普的方式系统地阐述了大数据前沿技术与研究进展，对技术的来源、结论、对比、用途以及开源软件进行了深入浅出的描述，并不过多地涉及数学符号及基础原理。以大数据可视化为切入点，通过自然语言处理、社交网络挖掘、语义网络与知识图谱三方面非结构化数据处理技术，阐述大数据经典应用，利用基于图数据库、内存计算、分布式存储系统的大数据存储与管理作为大数据平台支撑，进而探讨基于众包技术扩充数据来源与提高数据质量，并围绕大数据环境下的隐私保护问题，探讨了大数据安全技术。
目录
第1章　大数据可视化 1
1．1 可视化基础 2
1．1．1 可视化释义 2
1．1．2 可视化流程 5
1．1．3 可视化对象 6
1．1．4 可视化方法 10
1．2 大数据可视化介绍 36
1．2．1 大数据可视化特点 37
1．2．2 大尺度数据的可视化 38
1．2．3 快速变化数据的可视化 41
1．2．4 多变量数据的可视化 44
1．2．5 非结构化数据的可视化 50
1．2．6 大数据可视分析 53
1．3 可视化与可视分析研发资源 60
1．3．1 代表性开源与商业软件 60
1．3．2 开发工具与编程语言 61
1．3．3 可视化信息资源 62
1．3．4 部分可视化科研机构 63
参考文献 64
第2章　文本大数据处理 67
2．1 文本大数据概述 67
2．2 中文词法分析 70
2．3 句法分析 73
2．4 语义分析 74
2．5 开源项目与共享工具 75
2．6 文本大数据的部分应用 76
2．6．1 概述 76
2．6．2 基于双数组Trie树的面向微博短文本的分词 77
2．6．3 词义消歧 80
2．6．4 未登录词识别 83
2．6．5 文本分类与文本聚类 84
2．6．6 机器翻译 86
2．6．7 其他应用 87
参考文献 89
第3章　社交网络大数据挖掘 91
3．1 概述 91
3．2 大规模异构网络集成 94
3．2．1 计算模型――COSNET 96
3．2．2 模型求解 98
3．2．3 实验结果 99
3．3 基于交互的网络机器学习 101
3．3．1 网络数据的主动交互学习 101
3．3．2 算法模型――MaxCo 102
3．3．3 网络流数据的主动交互学习 103
3．3．4 算法模型 104
3．4 基于随机路径的高效网络拓扑相似度算法 106
3．4．1 问题定义 107
3．4．2 基于随机路径的网络拓扑相似度算法――Panther 107
3．4．3 实验结果 110
3．4．4 小结 113
3．5 个体行为与网络分布的统一建模框架――M3D 113
3．5．1 研究方案 114
3．5．2 实验验证 115
3．6 总结和展望 117
参考文献 117
第4章　语义大数据――知识图谱 119
4．1 大规模知识图谱技术 119
4．1．1 知识图谱的表示及其在搜索中的展现形式 119
4．1．2 知识图谱的构建 121
4．1．3 知识图谱在搜索中的应用 126
4．1．4 总结 127
4．2 行业知识图谱工具 127
4．2．1 简介 127
4．2．2 常见的行业知识图谱 129
4．2．3 行业知识图谱的构建 131
4．2．4 行业知识图谱的应用 139
4．2．5 应用案例 141
第5章　图数据库――基于图的大数据管理 147
5．1 图数据库简介 147
5．1．1 大图数据 148
5．1．2 OLTP与OLAP 149
5．1．3 图数据模型 151
5．1．4 图查询语言 154
5．2 主流图数据库和图计算引擎 160
5．2．1 最流行的图数据库――Neo4j 160
5．2．2 分布式图数据库――Titan 161
5．2．3 基于RDF三元组库的图数据库――Blazegraph 162
5．2．4 基于Pregel框架的图计算引擎――Giraph、Hama、
GraphLab、GraphX 163
5．3 图数据库关键技术 166
5．3．1 图数据库的存储 166
5．3．2 图数据库的索引 169
5．3．3 图数据库的查询处理 172
5．4 图数据库应用 175
5．4．1 语义万维网 175
5．4．2 社会网络 176
5．4．3 生物信息学 177
第6章　内存计算――高速大数据处理的核心技术 179
6．1 内存计算技术的一个误区 179
6．2 TimesTen的设计思路 180
6．3 Apache Spark的设计思路 182
6．4 SAP HANA的设计思路 184
6．5 YunTable 4．0的产品介绍 186
6．5．1 整体架构与核心技术 186
6．5．2 MPP 188
6．5．3 列存2．0 188
6．5．4 动态数据分发 190
6．5．5 内存计算 191
6．5．6 性能和路线图 191
6．6 总结 192
第7章　分布式存储系统――大数据存储支撑技术 193
7．1 大数据对存储系统带来的挑战及其引发的变革 193
7．2 谷歌文件系统（GFS） 194
7．2．1 支持大数据集存取和离线批处理的分布式存储系统 194
7．2．2 GFS架构分析 195
7．2．3 系统交互 202
7．2．4 主节点的设计 206
7．2．5 容错和诊断 211
7．2．6 小结 214
7．3 支持海量数据和大规模并发访问的分布式对象存储
OpenStack Swift 214
7．3．1 互联网化带来新的存储需求 214
7．3．2 OpenStack Swift的特点 216
7．3．3 Swift的数据模型和架构 219
7．3．4 Swift的API 236
第8章　大数据安全技术 243
8．1 差分隐私保护方法简介 243
8．2 差分隐私研究保护方向――数据发布和数据挖掘 246
8．2．1 基于差分隐私保护的数据发布（DPDR） 246
8．2．2 差分隐私保护数据挖掘（DPDM） 247
8．3 常见隐私保护方法 247
8．3．1 差分隐私保护分类方法 247
8．3．2 差分隐私保护聚类方法 248
8．3．3 差分隐私频繁模式挖掘 249
8．4 应用案例和原型系统 249
参考文献 251
第9章　众包――数据来源与质量保证 255
9．1 众包 255
9．1．1 众包的概念和模型 255
9．1．2 众包的优劣分析 257
9．2 众包的关键技术 257
9．2．1 众包流程 257
9．2．2 任务设计 259
9．2．3 任务分配 260
9．2．4 任务动态优化 261
9．2．5 众包激励机制 261
9．2．6 众包质量保障 263
9．3 众包的成功案例和平台 264
9．3．1 知识百科众包 264
9．3．2 数据众包 264
9．3．3 创新众包 266
9．3．4 软件众包 267
9．3．5 众筹 268
9．3．6 通用智力劳动众包 269
9．3．7 中国的众包平台 269
9．4 众包研究趋势 269
9．5 总结和展望 271
参考文献 271