Yoshua Bengio访谈笔记:用意识先验糅合符号主义与联结主义

本文转载自机器之心 作者:邱陆陆。

这篇文章极好地阐释了AI先驱们对通用智能的理解,Bengio不愧为一代大师。感谢机器之心如此专业的分享,也感谢Bengio引领我们走向正确的方向,他所提到的几件重要的事情都体现了他对人类智能深刻的理解。1. 世界模型。无意识状态中存储了海量的关于世界的知识、关系、信息,智能始终基于对世界的理解来进行推理预测。 2. 符号化,我称之为离散化或完形化,从复杂感知数据,海量特征中涌现单一整体的过程,是联结主义和符号主义的桥梁,由于离散化的存在,连续的变化的数据才变成了单一、离散的表征,我们才能进行程序化的计算、推理,这也是我下一个要提到的图灵机制的关键所在。3. 图灵机制。Bengio所提的意识State恰恰说明他意识到了大脑中图灵机制的存在,意识State就是运行时的世界模型,从记忆中提取的世界知识,借助感知数据,我们在意识活动(注意和工作记忆)下建立运行时的世界模型,并进行推演从而做出准确的预测。正因为有了这样的理解,我们才能够自信地认为BERT的基于概率的方向是存在明显问题的,至少他不是人脑运作的方式。我们应该结合神经网络的海量表征潜在常识与自然语言的数据,共同来筑建运行时模型,才能做出最准确的对语言的理解,才能进行推理和解决问题。对此Bengio非常谦虚地表示,在这个框架下未来将有很多工作要做,是一种非常务实的心态,如何训练出我们想要的海量无法用言语来形容的,对意识层面或者完形、离散化有益的表征,将是下一步研究课题。

 

表征(representation)空间的依赖贯穿计算机科学乃至日常生活的始终。在计算机科学中,如果数据有精当的结构,辅以智能化的索引,那么搜索任务的速度可以指数级加快;对于人来说,计算『 210 除以 6 等于几?』是容易的,计算『 CCX 除以 VI 等于几?』则需要更多时间。表征空间的选择对机器学习算法的性能影响,由此可见一斑。」《深度学习》[1] 一书如是评价表征的重要性。 Read more

完形与世界模型

本文主要探讨完形与世界模型的关系。


格式塔心理学引入了心理学的动力学视角,启发我们从一个全新的角度看待世界模型的构建,自我、感官、旧脑等综合作用下会产生不同的行为环境的内容。
考卡夫向我们展示了一系列实验,表明人在解构感知信息时会倾向于简单性、相似性、闭合性等一系列完形原则,虽然其大作《格式塔心理学原理》中并未探讨成因,但在生理-心理联合框架上下足了理论功夫。 Read more