Page 80 - 大数据技术及安全研究

大数据技术及安全研究
Research on Big Data Technology and Security

综上所述，数据采集系统的发展及应用能够降低数据收集及处理的难度，为
人员开展工作提供便利，具有较强的现实意义。有关单位应充分认识到数据采集
系统在实际工作中发挥的积极作用，加大对数据采集系统的关注，为数据采集系

统的发展及应用提供必要的支持，以此促进数据采集系统的进一步发展，推动数
据采集系统普及应用。

第二节 数据预处理技术

一、大数据背景下数据预处理方法

在经济快速发展的背景下，各类先进技术相继兴起应用，以云计算、大数据
为代表应用频次最高，其内部蕴含的价值不可估测。海量数据高效处理对目前技
术应用提出新的要求，为进一步高效、及时获取数据信息中有效信息，需选取高
速分析处理技术，对数据进行系统性分析优化升级。数据预处理工作是数据分析、

挖掘前重要准备工作，选取科学处理方式，是保证最终数据质量及有效性举措。
（一）大数据背景下数据预处理价值
现下数据信息爆发式增长，为快速从海量数据中提取有价值信息，应选取有

效技术措施，做好数据预处理工作，增强数据有效性。数据预处理作为数据挖掘
与知识发现过程核心环节之一，加强数据预处理价值体现在以下几方面：首先，
海量原始数据中通常包含以下特征：第一，不完整。属性值或仅包含聚离数据；
第二，含噪声。数据内部含有错误或存在偏离预期分散数值；第三，不一致。数

据记录规范性和逻辑性与其他数据未实现统一化，缺乏一定科学性。由于上述问
题存在，人们使用数据过程中对其具有完整性、时效性及可靠性要求，所以需加
强数据预处理，保证达成上述目标，为人们提供良好的服务。其次，由于数据采

集规模较大，数据预处理通常需耗损大量时间，高质量决策依附于可靠度较高的
数据，从实际中获取数据大多结构不一致、完整性不足等，无法实现直接利用目
标。因此，需加强数据预处理，提高数据自身质量，为后续决策的正确性奠定良

好基础。
（二）大数据背景下数据预处理方法
由于数据种类及组织模式呈现为多元化，内部关联性较为复杂，且数据质量

·72·