Page 193 - 信息的脉络

·第三部分·
的需求越来越明确。研究者们尝试着使用人工神经网络来解决类似问题，但效果
并不显著。许多人试图使用基于多层神经网络的深度学习技术。“深度学习”（Deep
Learning）这个术语是从 1986 年起流行开来的，但是当时的深度学习技术还无法
解决网络层次加深后带来的诸多问题，计算机的计算能力远远达不到深度神经网

络的需要，其依赖的海量数据还没有准备好，导致神经网络表现不佳。
在随后的20年间，包括杰弗里·辛顿（Geoffrey Hinton）和戴维·鲁姆哈特（David

Rumelhart）在内的几位学者独立发明了一些数学方法，令深度神经网络在缺乏对
完美结论的形式化数学保证的情况下，获得了令人惊喜的卓越表现。辛顿等人发
现，虽然多于两层的“更深的”网络无法保证得出完美结果，但可以打造出能获
得足够优秀结果的系统，利用反向传播算法，沿正确的方向朝山顶小步前进。如今，

反向传播算法已成为深度学习中的核心算法，可以对在任一给定点上的最佳前进
方向进行估测。虽然并不能保证会找到抵达山顶最高峰的路线，如可能会卡在“局

部最高值”上，也就是第二高峰上，甚至会卡在半山腰比周围地形高出一点的大
石块上，但在实际应用中，该技术经常能给出足够优秀的结果。
20 世纪 80 年代后期，杨立昆（Yann LeCun）提出了另一个重要思想，即卷积
技术（convolution）。卷积能构建起一系列的连接，无论某物体出现在图像的哪个

位置，它依然能被系统识别出来。卷积技术提升了物体识别的效率。
2000 年后，计算机产业的发展带来了计算性能、处理能力的大幅提高，尤其

是以谷歌为代表的前沿企业在分布式计算上取得了深厚积累，成千上万台计算机
组成的大规模计算集群已经成熟。互联网产业的发展使搜索引擎、电子商务等公
司聚集了海量的高质量数据。同时，伴随着 GPU（图形处理单元）横空出世，最
终催化出这场深度学习革命，掀起了人工智能第三次浪潮。利用多层网络的深度

学习，终于成为现实。
2006 年是深度学习发展史上的分水岭。杰弗里·辛顿在这一年发表了《一种

深度置信网络的快速学习算法》及其他几篇重要论文，其他深度学习领域的泰斗、
大师们也在这一年前后贡献了一批重要的学术文章，在基本理论方面取得了若干
重大突破。深度学习也由此进入了高速发展的全盛期。
谷歌大脑是在 2011 年由谷歌最资深的科学家与工程师杰夫·迪恩（Jeff

Dean）以及后来在百度任首席科学家的吴恩达（Andrew Ng）带领团队创建的。这
是一个庞大的深度学习计算框架，拥有数万台高性能的计算机和顶级的图形处理

器作为计算单元（早期，谷歌大脑是只使用 CPU 作为计算单元，引入 GPU 是稍
晚一些的事），可以完成大规模、多维度、多层次的深度学习模型训练和演算。

• 177 •