在嘈杂中找到你的声音：独立分量分析

在嘈杂声中找到你的声音

感知器是一个有单一神经元的神经网络复杂度略高于感知器的次简单网络体系结构在输出层中有多个模型神经元，每个输入神经元都会连接到一个输出神经元，该结构将输入层中的模式转换为输出层中的模式。这个网络不仅可以对输入进行分类，还可以学习如何进行盲源分离。

1986年，安东尼·贝尔还是一名在苏黎世联邦理工学院( ETH Zurich)进行暑期实习的本科生。他很早就对神经网络产生了兴趣，曾前往日内瓦大学聆听来自神经网络领域前辈们的4个演讲。在布鲁塞尔大学获得博土学位后，他于1993年前往拉荷亚，加入了我的实验室，担任博士后研究员。

“通用信息最大化学习原理”( general infomax learning principle)最大限度地提高了通过网络传递的信息量。安东尼当时正在研究树突中的信号传输。树突就像细长的电缆，大脑的神经元通过附着在树突上的数以千计的突触收集信息。他凭直觉认为，通过改变树突中离子通道的密度，可以最大限度地提高树突中流通的信息量。在简化问题的过程中(忽略树突)，安东尼和我发现了一种新的信息理论学习算法，我们称之为“独立分量分析(ICA)，它解决了盲源分离问题(见方框6.1)。

独立分量分析已经有了数千个应用实例，而且已经出现在了信号处理的教科书中。在被应用于户外场景的自然图像的碎片中时，独立分量分析的独立成分是局部化的定向边缘滤波器(见图6-3)，类似于猫和猴子的视觉皮层中的简单细胞(见图5-4)。°采用独立分量分析方法时，只需要很少的信息源就能重建一幅图像中的一个图块，这种重建在数学上被称为“稀疏化”( sparse)。

这些结果证实了20世纪60年代著名视觉科学家霍勒斯·巴洛( Horace Barlow)的猜想，那时大卫・休伯尔和托斯坦・威泽尔已经在视觉皮层中发现了简单细胞。一个图像通常包含大量的冗余信息，因为附近的像素通常具有相似的值(例如天空的像素)。巴洛猜想，通过减少自然场景表达中的冗余，简单细胞就能够更有效地传输图像中的信息。整个学界花了50年的时间，才开发出数学工具来证实他的直觉。

安东尼和我还认为，独立分量分析被应用于自然声音时，独立分量是具有不同频率和持续时间的时域滤波器，类似于在听觉神经系统初期处理部分中发现的滤波器。”这使得我们相信，在试图理解感观信号是如何在视觉皮层最早期的处理阶段被表征这一基本原则的道路上，我们前进的方向是正确的。通过将这个原理扩展到线性滤波器的独立特征子空间，就可以在视觉皮层中建立复杂细胞的模型。°

独立分量分析网络包含相同数量的输入和输出单元，以及把它们完全连接起来的一组权重。为解决盲源分离间题，麦克风的声音通过输入层输人，每个麦克风占有一个输入单元，而独立分量分析学习算法(类似感知器算法)不断迭代修改传递到输出层的权重，直到它们收敛。但是，不同于感知器这种监督学习算法，独立分量分析是一种无监督学习算法。它使用输出单元之间的独立性度量作为代价函数,但并不知道输出目标应该是什么。为了使输出尽可能独立，权重不断被修改，原始声源就被完美地分离开来，或者如果它们彼此并不是独立的，其相关性也会被尽可能地去除掉。无监督学习可以在许多不同类型的数据集中发现以前未知的统计结构。

以上是特仑斯谢诺夫斯基，在《深度学习》这本书中介绍的采用独立分量分析的算法，解决盲源分离问题，也就是在嘈杂声中找到你的声音。

我是主播欧锋，感谢你的聆听！

20190804