Page 99 - 大数据技术及安全研究

第三章 大数据技术的应用

第三章 大数据技术的应用

第一节 互联网行业

在过去的几十年里，大数据这一术语正是产生在全球数据爆炸增长的背景下。

大数据被挖掘的隐藏价值则会给各个领域的发展带来新的机遇，然而同时也给数
据的有效组织和管理的研究带来了新的挑战，无论涉及科学研究还是实际应用，

大数据都将持续给我们的生活带来潜移默化的改变。在商业、经济及其他领域中，
决策将渐渐基于数据和分析而作出，而不是根据经验和直觉。哈佛大学社会学教
授加里﹒金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，
无论学术界、商界还是政府，所有领域都将开始这种进程。”而根据大规模的数

据增长，互联网的意义也越发重要，现在人们的生活与互联网息息相关，不知不
觉中就提供了数据信息，如果这些信息被有效的提炼和分析，无论对商业还是生
活都极具价值。“大数据”时代已经降临。

一、大数据的内涵及关键技术

（一）大数据的内涵
在获取、存储、管理、分析方面，其范围大大超出了传统数据库软件能力范

围的数据的集合。它具有数据规模大、数据流转快、数据类型多样和价值密度低
四大特征。当然，不同行业的数据有不同的自身特点，还需要结合自身的行业知
识才能把大数据转换为价值。

（二）大数据的关键技术
1. 分布式计算框架
Google 开发的一种简化的分布式编程模型和高效的任务调度模型是 Map
Reduce，用于大规模数据集（>1TB）的并行运算，使云计算环境下的编程变得

非常简单，用户按照自己熟悉的语言实现 Map 函数和 Reduce 函数使用该编程模
型，Map Reduce 算法框架会自动对任务进行划分以做到并行执行。

·91·