Yoshua Bengio访谈笔记：用意识先验糅合符号主义与联结主义

dengfanxin 未来

本文转载自机器之心 作者：邱陆陆。

这篇文章极好地阐释了AI先驱们对通用智能的理解，Bengio不愧为一代大师。感谢机器之心如此专业的分享，也感谢Bengio引领我们走向正确的方向，他所提到的几件重要的事情都体现了他对人类智能深刻的理解。1. 世界模型。无意识状态中存储了海量的关于世界的知识、关系、信息，智能始终基于对世界的理解来进行推理预测。 2. 符号化，我称之为离散化或完形化，从复杂感知数据，海量特征中涌现单一整体的过程，是联结主义和符号主义的桥梁，由于离散化的存在，连续的变化的数据才变成了单一、离散的表征，我们才能进行程序化的计算、推理，这也是我下一个要提到的图灵机制的关键所在。3. 图灵机制。Bengio所提的意识State恰恰说明他意识到了大脑中图灵机制的存在，意识State就是运行时的世界模型，从记忆中提取的世界知识，借助感知数据，我们在意识活动（注意和工作记忆）下建立运行时的世界模型，并进行推演从而做出准确的预测。正因为有了这样的理解，我们才能够自信地认为BERT的基于概率的方向是存在明显问题的，至少他不是人脑运作的方式。我们应该结合神经网络的海量表征潜在常识与自然语言的数据，共同来筑建运行时模型，才能做出最准确的对语言的理解，才能进行推理和解决问题。对此Bengio非常谦虚地表示，在这个框架下未来将有很多工作要做，是一种非常务实的心态，如何训练出我们想要的海量无法用言语来形容的，对意识层面或者完形、离散化有益的表征，将是下一步研究课题。

 

对表征（representation）空间的依赖贯穿计算机科学乃至日常生活的始终。在计算机科学中，如果数据有精当的结构，辅以智能化的索引，那么搜索任务的速度可以指数级加快；对于人来说，计算『 210 除以 6 等于几？』是容易的，计算『 CCX 除以 VI 等于几？』则需要更多时间。表征空间的选择对机器学习算法的性能影响，由此可见一斑。」《深度学习》[1] 一书如是评价表征的重要性。 Read more

完形与世界模型

dengfanxin 思想实验

本文主要探讨完形与世界模型的关系。


格式塔心理学引入了心理学的动力学视角，启发我们从一个全新的角度看待世界模型的构建，自我、感官、旧脑等综合作用下会产生不同的行为环境的内容。
考卡夫向我们展示了一系列实验，表明人在解构感知信息时会倾向于简单性、相似性、闭合性等一系列完形原则，虽然其大作《格式塔心理学原理》中并未探讨成因，但在生理-心理联合框架上下足了理论功夫。 Read more

ICPS 2015上认知语言学之父George Lakoff的演讲全文

dengfanxin 教程

如果全部读完，基本算是一门脑科学、心理学、神经科学入门指引课。视频地址：https://www.youtube.com/watch?v=WuUnMCq-ARQ

 

Most thought is unconscious, and the usual estimate is around 98 percent. But if you believe the work that Stan Dehaene talked about the other night, it is more than 98 percent. Consciousness is the tip of the iceberg of thought. It is there that things are put together in an interesting way and the interesting way is the following, that before consciousness, what happens is that your brain unconsciously changes what you perceive or what you think. This is something remarkable. I think one of the best papers I heard on this was by Shin Shimojo who is a vision scientist at the Caltech. He came to Berkeley a couple of months ago and gave a truly remarkable overview of experiments that showed this, many of them which were his. Let me give you a sense of this. Suppose you know that if there are flashing lights and they are going along and they are going fast enough, they look like a single stream. Read more

Tensorflow数据读取指南

dengfanxin 技术

tensorflow的灵活性带来的学习成本是很多人头疼的问题，在tf中，读取数据基本有四种方法：
1. tf.data （官方推荐）：方便地构建复杂的输入管道
2. Feeding：通过input_fn来yield数据
3. QueueRunner：基于队列的输入管道
4. 预加载数据。用constant或variable在内存中存储所有的数据
Read more

The Development of Movement – Stages

dengfanxin 未来

By Dr Emmi Pikler

An excerpt PEACEFUL BABIES – CONTENTED MOTHERS (published in 1940),
taken from the Sensory Awareness Foundation publication BULLETIN (Number 14/Winter 1994).

Children, particularly in cities, tend to sit poorly and have bad posture. They cannot sit, stand or walk properly, not to mention more complicated movements.

This, of course, is not self-evident to every reader.  I can hear the astonished responses: “What? My children can’t move?!” “My little daughter could already sit when she was just four months old”  “Mine was already standing at six months”… “When my son was not even one year old, he was walking.”
Read more

世界模型 World Models部分翻译

dengfanxin 经典翻译

本文对论文《world Models》的前半部分进行了翻译，看过前半部分基本就了解结构了，我个人认为Schmidhuber还是一如既往地喜欢把小东西往宏大了说，当然也多亏了他起的题目，很多人对世界模型产生了浓厚的兴趣。但本文的确不能说在世界模型方面有了飞跃的进步，只是将隐变量配合LSTM当作了世界模型，所以我不打算翻译后半部分了。虽然现在大家对于时序问题还没有太好的办法，很多时候不得不靠LSTM，但LSTM绝对不是未来。

世界模型 World Models
David Ha, Jurgen Schmidhuber

摘要

我们研究在流行的强化学习环境中构建生成神经网络。以监督的方式可以快速训练我们的世界模型学会环境的压缩空间和时间表征。将从世界模型中抽取的特征作为智能体的输入，我们能训练出一个非常紧凑简单的指定任务解决策略。我们也能训练智能体完全沉浸在自己的幻觉中基于它的世界模型做梦，并将策略迁移回实际环境中。

Read more

生成查询网络（GQN）的论文翻译——场景的神经表征与渲染 Neural scene representation and rendering

dengfanxin 未来

本文对Deepmind最新成果GQN论文的主要部分进行了翻译

场景的神经表征与渲染 Neural scene representation and rendering

S. M. Ali Eslami, Danilo Jimenez Rezende, Frederic Besse, Fabio Viola,
Ari S. Morcos, Marta Garnelo, Avraham Ruderman, Andrei A. Rusu, Ivo Danihelka,
Karol Gregor, David P. Reichert, Lars Buesing, Theophane Weber, Oriol Vinyals,
Dan Rosenbaum, Neil Rabinowitz, Helen King, Chloe Hillier, Matt Botvinick,
Daan Wierstra, Koray Kavukcuoglu, Demis Hassabis

 

摘要

场景表征——将视觉感受数据转换成简要描述的过程——是智能行为的一个基础。近来的研究表明，当提供足够大的标签数据时，神经网络在此方面表现优越。然而如何避免对标签的依赖依然是个开放性问题。鉴于此，我们开发了产生式查询网络（Generative Query Network, GQN），在该框架内机器可以只依赖自己的感受器来学习表征。GQN接受从不同视角拍摄的场景图片作为输入，构建内部表征并使用该表征来预测从未观察过的视角的场景图像。GQN做到了不依赖标签或领域知识的表征学习，向机器自动学习理解世界又迈进了一步。

Read more

通用智能的一些重要概念

dengfanxin 思想实验

本文粗浅地讨论我对一些重要概念的理解：记忆 理解 概念 特征世界 识别 比较 归纳 预测 激励 推理 视觉推理 陌生事物 新鲜感 发现异常 生成网络 尝试 想象 动机 目标驱动 脑中图灵机 盲源分离 目标达成 世界模型 回忆 注意力 感知 判断 感觉世界feeling

 

记忆（Memory）——有很多子类型，比如短时记忆、长时记忆，情景记忆、陈述性记忆、程序性记忆等等，不一而足，记忆直接对应着连接关系与其权重，将0也看成权重的话，本质是权重对外界影响的落实。比如一个场景，连续的感觉输入包括相关概念的唤醒，也包括时间性感觉和概念，时间性的记忆由前后关系型连接建立，发生的事物、以及事物的空间和时间关系都影响着大量连接的权重，尤其是一过性场景能形成长期记忆，可能以来脑中的回放机制来加强记忆。短时记忆机制的已逝性和与长时记忆的可塑性，说明权重变化既是敏感的也是可加强的，有可能不同特性的连接用于不同的功能，有些连接比较迟钝，权重落实慢，需要反复刺激，有些权重落实快，增加快降低也快，可塑性太强，反复变化，不便于长期记忆。说到记忆，往往指的是我们意识能感知到的知识、概念、生活经历等等，但实际上类似于感觉初级皮层的功能形成与意识可感知的记忆形成本质都是权重落实问题。只是大脑很难意识到初级皮层的感念，初级皮层的权重形成也是倾向于统计上的落实。而记忆更倾向于一次性的权重落实，和反复单一刺激强调的权重落实。所以无论是情景记忆、程序性记忆，还是陈述性记忆，都是不同类型的输入建立关联的过程而已。回想是记忆落实和加强的重要手段，例如恐怖性经历会刺激本能反复回想该记忆，从而会终身难忘。难忘的记忆征用了较多的记忆资源，并且时常回放进行巩固，轻描淡写的记忆动用了较少的记忆资源，又很少回想，这些记忆资源慢慢被其他记忆所替代。 Read more

智能时代与互联网时代创业差异

dengfanxin 未来

智能时代得创业窗口期将变短，超级公司诞生得可能性巨大，但在通用智能技术达到临界点之前，一定程度上的领域细分依然是人工智能创业的主旋律，超过临界点之后，大多数竞争者将被淘汰，且越甩越远。

互联网时代还难以进入寡头垄断，整个三十年的创业期内各类互联网公司风起云涌，主要的原因是数据的产生和数据的结构化是个体力活，很多公司仅仅凭借数据生成（算法生成和人工生成）和数据结构化就能活得滋润，更不要说建立在数据之上的算法积累了，领先优势更巩固了互联网垂直创业者在各自行业得地位。

智能创业得变革机会要比互联网更多，因为不是所有得行业都需要互联网化，但所有得行业都会面临智能化，两者已经不是一个量级。

智能化的路径是专用向通用演变的过程，也是从众多垂直创业者向一家独大演变的过程。谁得到更通用的智能技术，谁就得到更进阶的密匙。

仅有互联网无法实现共产主义，只有人工智能才能实现终极生产力。