Page 100 - 大数据技术及安全研究

大数据技术及安全研究
Research on Big Data Technology and Security

2. 分布式文件系统
基于云计算的大数据处理系统利用分布式存储的方式来保存数据，以保证高
可用、高可靠和经济性，并用冗余存储的方式保证数据的可靠性。目前广泛使用

的分布式文件系统是 GFS，是由 Google 的 GFS 和 Hadoop 团队开发的，它可开
源实现 HDFS。HDFS 即 Hadoop 分布式文件系统，它很适合那些有大数据集的
应用，并且提供了数据读写的高吞吐率，同时它具有高容错性，可以被部署在低
价的硬件设备之上。

3. 实时流处理技术
随着互联网业务发展的步伐，以及业务流程的复杂化，企业的注意力越来越
集中在“数据流”而非“数据集”上面，他们需要的是能够处理随时发生的数据
流的架构，数据流处理强调的是数据流的形式和实时，当 Map Reduce 任务启动时，

一般数据已经到位了，而流式计算系统在启动时，一般数据并没有完全到位，而
是经过外部数据源源不断地输入，它重视的是降低数据处理的延迟，数据进入的
越快，处理的就越好，结果就越有价值，这也是实时处理的价值所在。

4. 云计算技术
云计算技术的兴起有效地解决了由于海量不同类型碎片化数据的产生，常规
的技术已经不能胜任 PB 级大规模数据的计算这一问题。云计算技术把大量分散
的数据从手机端、电脑端以及其他智能终端统统传送至云平台，再通过一个大规
模的分布式系统加以计算和高效分析，从而提炼出富有价值的数据和信息。云计

算技术可以说是处理海量数据成本最低和效率最高的解决方案。

二、大数据技术在互联网领域中的应用

（一）电子商务
国内外的电子商务巨头如淘宝、京东、亚马逊、沃尔玛等，在电子商务领域
捭阖纵横，都是由于不断地利用大数据技术 Hadoop。Hadoop 是在电子商务领域
中应用非常广泛的大数据技术。利用大数据 Hadoop 技术对网络购物、网络消费、
网络团购、网上支付等数据进行深度挖掘、深入分析，将可发现大量有价值的信

息与统计规律，对布局和推动今后中国互联网经济的健康有序发展、加强国家对
该领域的宏观调控和监管等，均将产生积极的影响。
电子商务的竞争在很大程度上就是大数据的竞争，经历了基于用户数量的时

·92·