学习识别手写数字

学习识别手写数字

最近，杰弗里·辛顿和他在多伦多大学的学生们训练了一个带有三层隐藏单元的玻尔兹曼机，能够对手写邮政编码进行非常准确的分类(见图7-6)由于玻尔兹曼网络具有反馈和前馈连接，因此可以反向运行网络，错制其中一个输出单元，并生成与钳制输出单元相对应的输入模式(见图7-7)。这种生成性网络能捕获训练集的统计结构，而它们生成的样本也会继承这些属性。就好像这些网络进入了睡眠状态，网络最高层的活动在输入层产生了梦境一般的状态序列。

尽管神经网络在物理学和工程学中的兴起十分迅速，但传统的认知科学家却迟迟不能接受它作为理解记忆和语言处理的形式体系。除了拉荷亚的并行分布处理(PDP)研究组和一些独立的研究者，符号处理仍然是业界的主流方法。杰弗里和我在1983年参加了认知科学协会( Cognitive Science Society)的会议。会议期间，研究短期记忆和意象的心理学家泽农·派利夏恩( Zenon Pylyshyn)表示出了对玻尔兹曼机的不屑。他朝讲台上泼了一杯水，并大声喊道:“这不是计算!”而其他人则认为整个领域仅仅是在搞统计罢了。但杰罗姆・莱特文( Jerome Lettvin)却表示，他真的非常喜欢我们正在做的事情。莱特文在1959年与温贝托・马托拉那( Humberto Matourana)、沃尔特匹茨一起撰写了经典的论文《青蛙的眼睛告诉大脑什么？》What the frogs eye tells the frogs brain, 文中给出了青蛙视网膜中的虫类探测器神经元对小黑点的反应最为强烈的证据，这是一个在系统神经科学领域极具影响力的想法，他对我们羽翼未丰的神经网络模型的支持是该领域早期发展中的重要一环。


20190831