深度学习应对现实社会的复杂性

深度学习应对现实社会的复杂性

当前的大多数学习算法都是在25年前开发的，为什么他们需要那么长的时间才能对现实世界产生影响呢？现在我们知道神经网络学习的缩放性很好，随着网络规模和层数的不断增加，其性能也在不断增强，特别是反向传播技术，他的缩放性非常好。

蒙特利尔大学的约书亚・本吉奥,和杨立昆一起接替杰弗里・辛顿,成为 CIFAR神经计算和NCAP项目的主任,该项目在通过十年评估后更名为“机器学习和大脑学习”项目( LearningMachines and Brains)约书亚率领蒙特利尔大学的一个团队,致力于应用深度学习来处理自然语言,这将成为“机器学习和大脑学习”项目新的研究重点。

约书亚・本吉奥是 IFAR“机器学习和大脑学习”项目的联合主任。这位在法国出生的加拿大籍计算机科学家,一直是应用深度学习处理自然语言问题这个领域的领导者。杰弗里・辛顿、杨立昆和约书亚・本吉奥所取得的进展,为深度学习的成功奠定了基础。
在十多年的会议中,这个由20多名教师和研究员组成的小组开启了深度学习的研究。过去5年来,深度学马在过去难以解决的许多问题上取得了实质性进展,这些进展归功于小组成员的努力,他们当然只是一个更廃大社区中的一小部分。

尽管深度学习网络的能力已经在许多应用中得到了证明,但如果单靠自身,它们在现实世界中永远都无法存活下来。它们受到了研究者的青睐,后者为其提供数据,调整超参数,例如学习速度、层数和每层中的单元数量,以改善收敛效果,还为其提供了大量计算资源。另ー方面,如果没有大脑和身体的其他部分提供支持和自主权大脑皮层也无法在现实世界中存活。在一个不确定的世界中,这种支持和自主权是一个比模式识别更难解决的问题。第10章将会介绍古老的学习算法,它通过激励我们寻求对自身有利的经验来帮助我在自然界中生存。


20191107