Page 51 - 大数据技术及安全研究

第一章 大数据核心技术

式的数据处理方式，则能够使数据的处理质量得到保障。对于数据的优化管理和
提高数据管理的容错率来说极为重要，并且云计算技术的合理应用，还能够使数
据的管理安全性得到提升，避免出现数据遗失或被盗的可能性。在云计算技术的

应用时建立分布式的计算系统框架，则能够按照要求针对数据信息进行分析，而
用户只需要根据最终分析获得的结果进行数据处理和判断，就能够完成数据的综
合管理，无需考虑过多的技术细节，大大提高了数据处理的整体质量，对于系统
维护成本的控制和管理来说，具有良好的可应用价值。在目前大数据分析时所应

用的云计算系统框架内，包含 Map Reduce 并行计算框架、Pregel 迭代处理计算
框架等多种不同的类型。
Hadoop 平台是分布式系统构建时所选择的基础性框架，而在现阶段这一框
架能够为其他的算法提供良好的研发平台，而通过 Hadoop 平台还能够积极地开

展云计算工作，使用户的需求得到满足。用户针对最终的数据进行应用，能够大
大提高工作的整体效率，除此之外这项软件的合理应用还能够为分布式的程序开
发提供良好的基础。在 Hadoop 平台的应用过程中，工作人员所选择的信息处理
方式为集群方式通过开源优势，则能够为使用者提供良好的数据储存和计算平台，

而通过分布式的 Hadoop 平台建设还能够为 IT 产业提供 Linux 系统的研发平台。
Hadoop 平台中包含 HDFS 和 Map Reduce 两个部分，这可使计算质量得到极大提
升，对于现代化的大数据平台建设来说，具有十分积极的作用。HDFS 在应用过
程中的容错率较高，并且具有极强的伸缩性，能够满足大部分用户对于数据处理

的需求，而在 Hadoop 平台中不同的硬件系统能够在这一基础上形成分布式的文
件系统，有助于文件使用质量的提升，并且在 Map Reduce 编程模式下，底层的
系统用户也能够针对应用程序进行个性化的调整与设置，对于满足不同行业的数
据处理需求具有十分积极的作用。

（二）物联网数据挖掘技术优化中所面临的挑战与问题
1. 缺乏良好的数据处理和探知能力
物联网技术在对大量的数据进行处理时，如果不借助良好的数据处理工具，
将会导致数据的处理质量受到影响，主要是由于物联网技术缺乏良好的数据储存

方式和管理方式，其中的数据不仅数量大并且杂乱无章。目前在应用时，所选择
的数据管理方式为中央管理模式，对于分布式的数据缺乏良好的探知能力，对最
终的数据处理工作的开展会产生极大的影响。

·43·