无监督学习和皮层发育

无监督学习和皮层发育

各位听众朋友，大家好，我是主播欧锋。现在为大家介绍美国科学家特仑斯谢诺夫斯基所著《深度学习——智能时代的核心驱动力量》
玻尔兹曼机既可以用来进行监督学习，即输入和输出都被制也可以用于无监督学习，即只有输入被针制。杰弗里・辛顿使用无监督的版本一次一层地搭建出了一个深度玻尔兹曼机。从连接到输入单元的一层隐藏单元开始一即受限玻尔兹曼机( restricted Boltzmannh)杰弗里用未标记的数据对它进行训练，这些数据比标记数据更容易获得(互联网上有数十亿未标记的图像和录音)，可以使学习进度更快。无监督学习的第一步是从数据中提取所有数据共有的统计规律，但第一层隐藏单元只能提取简单的、用感知器也可以表现的特征。下一步是将权重固定到第一层，并在上面添加第二层单元。更多的无监督玻尔兹曼学习产生了更复杂的一组特征，可以不断重复这过程来创建具有多层深度的网络。因为上层的单元包含更多非线性的低层特征组合，使得它们可以作为一个整体，从具体的特征中抽象出更普遍的特征。因此，在上层进行的分类变得容易得多，只需要更少的训练样本就能在更高的计算水平达到收敛。尽管如何描述这种解决方案背后的数学原理依然有待商権，但已经有新的几何工具开始在这些深度网络中崭露头角了。

皮层似乎也是逐层生长的。在视觉系统发育的早期阶段，作为第一层从眼睛接收输人信号的神经元，初级视觉皮层中的神经元具有很高的可塑性，并且很容易根据视觉输入流重新建立连接，这种连接在关键时期结東后消失(这部分在第5章已经讨论过)。大脑后部的视觉区域和其他感官流的层级结构最先发育成熟，靠近大脑前部的皮层区域则需要更长的时间。前额叶皮层，也就是最靠近大脑前端的部分直到成年早期才可能完全发育成熟。在关键期，皮层区域的连接接受神经活动影响最大，这些层叠的关键时期导致了皮层的逐渐发育。加州大学圣迭戈分校的认知科学家杰弗里・艾尔曼( Jeffrey Elman)和伊丽莎白·贝( Elizabeth Bates)跟其他同事一起，针对皮层的逐渐发育如何帮助儿童通过了解世界而获得新能力，给出了联结主义网络角度的解释。1这一工作为解释我们漫长的童年如何使人类成为最善于学习的物种，开辟了一个新的研究方向，同时也对先前围绕某些与生俱来的行为产生的论调提供了新的视角。史蒂文·库沃茨( Steven Quartz)曾经是我实验室里的博士后研究员，现在在加州理工学院做教员。我们在合作发表的《骗子、受人和英雄》(Lias， Lovers and Heroes)23-文中曾经写道，在儿童和青少年时期的大脑发育过程中，经验可以深刻地影响神经元的基因表达，从而改变负责行为的神经回路。基因的差异性以及环境影响之间的交互作用，让我们能够从新的角度认识大脑发育的复杂性。这一活跃的研究领域超越了先天与后天的辩论，并从文化生物学的角度对其进行了重新定义。我们的生物特性不仅促成了人类文明的誕生，也反过来被人类文明影响着。最近的一项发现为这个故事续写了新篇章:

当神经元之间突触的形成在早期发育过程中迅速增加时，神经元内部的DNA在诞生后通过一种甲基化的形式进行表观遗传修饰，这种甲基化调节基因的表达是大脑所独有的。”这种表观遺传修饰可将我和史蒂文之前设想的经验与基因之间建立起某种连接。

到了20世纪90年代，神经网络革命开始如火如荼地进行。认知神经科学领域正在扩展，计算机变得越来越快，但还不够快。玻尔兹曼机的技术性能非常出色，但是要模拟起来却慢得让人无法忍受。真正帮助我们取得进展的是一种更快的学习算法，恰恰在我们最需要它的时候，它与我们不期而遇了。



20190911