Page 97 - 大数据技术及安全研究

第二章 数据的采集与处理

Reduce 为基础的深度学习分布式方式，能够有效提升大量数据的处理速度，解
决深度学习的可拓展问题，减少网络节点的通信代价；第二，以 Spark 为基础的
深度学习分布式方式，以内存为基础开展大数据计算工作，相较于第一种算法，

这种学习方法更适用于迭代型计算任务，目前常用的学习模式有 R-CRBN 模型、
卷积神经网络等。因而，通过在大数据分析中运用该技术功能，能够直观地将复
杂信息呈现给用户，帮助其根据分析结果对未来做出精准预测。
除此之外，现有的以大数据分析优化为目标的深度学习算法正处于不断改进

状态，针对样本数量缺乏、质量不足等常见问题，固定模型重用策略被提出并应
用，能够很好地获取判别信息，降低数据分析过程中需要投入的训练样本数量。
此外，强化检测器性能、改进训练样本质量的方法不断丰富，根据深度学习一训
练步骤实现对各种数据的迭代计算，从而改变当前的工作质量。

3. 以计算智能为基础的大数据分析
计算智能为人工智能分支之一，其具有随机性、启发式特征，在大规模优化
方面能够发挥良好作用，而传统算法以收敛速度为侧重点，强调集中化思想，若
所需分析的数据过于庞大，则会使传统算法难以处理，即使能够处理分析也会形

成较大时间消耗，数据分析效率严重不足。而当前数据复杂性、规模化程度日益
增加，此时可在大数据分析时引入分布式算法，从群智能、进化算法两个方面展
开大数据分析。首先，群智能算法分析。其构建了分布式计算环境，对算法搜索
过程具有较强加速效果，其主要借助粒子群算法、布谷鸟算法、蚁群算法、萤火

虫算法等顺利完成大数据分析。其次，进化算法分析。该算法分析方式含有大量
迭代计算，在具体大数据分析过程中，主要通过大数据分组保障运算分析效率，
通过长期的进化算法研究，进化算法现已能够实现差分自动分组，降低不同分组
内的变量依赖程度，借助智能化分析提高算法分析效率，以此解决传统算法在预

算效率方面的不足。除此之外，大数据分析时还可混合运用多种算法，如贪心算
法、遗传算法、模拟退火算法等，同时融入加速技术、分布式计算等，对原算法
精准优化，继而提高数据分析效率。
综上所述，人工智能在大数据分析中发挥的作用日益关键，所取得的成果也日

益丰富。为促进大数据的更好发展，强化其智能化水平，应对大数据积累、关联分析、
分类、预测挖掘任务进行分析，并研究分布式深度学习及其算法的改进，最后从群
智能、进化算法两方面开展分析研究，以此更好应对大数据分析带来的挑战。

·89·