Page 197 - 信息的脉络

·第三部分·
征提取的，它就像是一个漏斗，不断在图片中平移，从下层图像中筛选数据，这
个漏斗（卷积核）可以是各种形状的。经过漏斗过滤后，筛掉了一些数据，但可
以获得更高维度的特征。
池化（Pooling）的本质其实就是采样共享，如以颜色采样为例，采样区域中
存在若干个像素，可能每个像素的颜色值都有少许差异，原本需要对应的若干个

数字去存储它们的颜色，池化过程就是用同一个采样值（最大值或者平均值之类）
来代替所有像素的颜色值，这样有多个像素共用一个颜色值，便能够降低数据量。
卷积神经网络也成为近十年来应用范围最广、最成功的深度神经网络形式，

许多硬件公司如英伟达、英特尔、高通还有三星电子都正在开发卷积神经网络芯片，
以使智能机、相机、机器人以及自动驾驶汽车中的实时视觉系统成为可能。
◆ 循环神经网络
与卷积神经网络处理图片和视频的场景不同，循环神经网络需要考虑上下文

的记忆和出现顺序序列这些因素，如 NLP（自然语言处理）等。
循环神经网络从神经生物学的“循环反馈系统”研究中受到启发，这种反馈
系统被认为是生成短期记忆的原因。

1982 年，美国学者约翰·霍普菲尔德（John Hopfield）建立了具有结合存储
能力的神经网络，即 Hopfield 神经网络。Hopfield 网络是一个包含递归计算和外
部记忆的神经网络，其内部所有节点都相互连接，并使用能量函数进行非监督学
习。1986 年，迈克尔 . 乔丹（Michael I.Jordan）在分布式并行处理理论下提出了
Jordan 网络。Jordan 网络的每个隐含层节点都与一个状态单元（state units）相连

以实现延时输入，并使用 logistic 函数作为激励函数，Jordan 网络使用反向传播算
法（Back-Propagation，BP）进行学习，并在测试中提取了给定音节的语音学特征。
之后于 1990 年，杰弗里·艾曼（Jeffrey Elman）提出了第一个全连接的 RNN，即

Elman 网络。Jordan 网络和 Elman 网络都从单层前馈神经网络出发构建递归连接，
因此也被称为简单循环网络（Simple Recurrent Network，SRN）。
在反向传播算法被提出后，学界开始尝试在 BP 框架下对循环神经网络进行
训练。1989 年，罗纳德·威廉姆斯（Ronald Williams）和戴维·兹皮斯尔（David

Zipser）提出了 RNN 的实时循环学习。随后 Paul Werbos 在 1990 年提出了随时间
反向传播算法（BP Through Time，BPTT）。
1991 年，Sepp Hochreiter 发现了循环神经网络的长期依赖问题（long-term
dependencies problem），即在对长序列进行学习时，循环神经网络会出现梯度

消失（gradient vanishing）和梯度爆炸（gradient explosion）现象，无法掌握长
时间跨度的非线性关系。为解决长期依赖问题，RNN 的改进不断出现，较重要

• 181 •