类人智能的几个启示

3352153404_4bbb97fcd2

一、“勿忘有机组成”

很多人可能还记得哲学课中的一个关键词“有机组成部分”,意指很多部分通过比较恰当的方式组成在一起,就会提供各个部分无法提供的功能,比如一辆汽车,缺少一些核心部件,就无法实现他的功能,比如轮子,方向盘、发动机,等等。
在处理人工智能问题时,同样需要重点关注这个基本原则,这个原则提醒我们,很多时候可能我们离成功只差一步,我们可能还缺少一个关键部件,比如,有了自稀疏编码器、有了层次化结构模型、但缺少attetion machanism,即注意力机制,可能也会无法实现我们想要的智能,从另一个角度,很多东西可能又不是必要的,比如神经支撑物、蛋白质、血液。 Read more

神经网络图灵机(Neural Turing Machines, NTM)

近期,Google Deep Mind团队提出了一个机器学习模型,并起了一个特别高大上的名字:神经网络图灵机,我为大家翻译了这篇文章,翻译得不是特别好,有些语句没读明白,欢迎大家批评指正 :)

原论文出处:http://arxiv.org/pdf/1410.5401v1.pdf。

版权所有,禁止转载。


 

神经网络图灵机

Alex Graves gravesa@google.com
Greg Wayne gregwayne@google.com
Ivo Danihelka danihelka@google.com

Google DeepMind, London, UK

摘要

本文通过引入一个使用注意力程序进行交互的外部存储器(external memory)来增强神经网络的能力。新系统可以与图灵机或者冯·诺依曼体系相类比,但每个组成部分都是可微的,可以使用梯度下降进行高效训练。初步的结果显示神经网络图灵机能够从输入和输出样本中推理出(infer)简单的算法,如复制、排序和回忆。

Read more