通用模型化

dengfanxin 未来

概述

我还没找到一个合适的词汇来描述这个概念，姑且先叫模型化，世界模型是通用智能的核心能力，掌握世界模型，根据实时感知数据立即构建世界模型，并运用世界模型相关的知识和操纵手段即可预测未来，并能及时修正模型。
通用智能的以世界模型为中心的基本流程：
观察未知事物->发现规律->建立世界模型，形成相关的知识和操纵手段->基于感知线索召回世界模型，根据状态进行推理预测、目标求解。

模型化与数字化和结构化的关系

模型化是数字化和结构化中间的一个通用形态
数字化是最初级的信息化手段，物理世界通过传感器编程二进制就算最简单的数字化，当然从数字化这个术语的使用来看，大家往往认为数字化包含了一切信息化手段，我们成为广义的数字化，即计算机处理的一切手段都是数字化手段，因而是包含智能化、结构化这些东西的，是最大的一个圈。狭义的数字化，我们认为就是将没有变成数据的东西变成任意维度的数据就算了，比如文字、图像、视频，这些已经算作狭义的数字化了。
引入智能化之后，就等于引入了算法、计算和处理过程，不能单纯地看数据的存储形态，而要关心其语义、内涵和结构化层级了。
结构化是一个具备非常抽象意义的词汇，即让事物组织的条理有序呈现出清晰结构的方法。结构是一个复杂的词汇，他主要跟组合、关系、构成方式这些含义紧密相关，从通用智能理论上看，他是世界模型的核心组成部分，如语言学中的frame、视觉上的布局、听觉上的和弦构型等等，世界模型的核心构成是概念（包括关系型概念（包括复杂结构概念）），从而衍生出实体、关系（复杂关系亦即结构）、属性用于高级思维的推理预测所使用。
实体关系属性的根在完形化，完形化只是人类智能的符号控制的基础，不是全部智能的控制基础，比如条件反射、大量的运动控制是不依赖完形化的。
通过上面的讨论我们更加清晰，结构化与模型化的大致关系了，两者不是一个等级的概念，结构是隶属于模型的子范畴概念。

Read more

Yoshua Bengio访谈笔记：用意识先验糅合符号主义与联结主义

dengfanxin 未来

本文转载自机器之心 作者：邱陆陆。

这篇文章极好地阐释了AI先驱们对通用智能的理解，Bengio不愧为一代大师。感谢机器之心如此专业的分享，也感谢Bengio引领我们走向正确的方向，他所提到的几件重要的事情都体现了他对人类智能深刻的理解。1. 世界模型。无意识状态中存储了海量的关于世界的知识、关系、信息，智能始终基于对世界的理解来进行推理预测。 2. 符号化，我称之为离散化或完形化，从复杂感知数据，海量特征中涌现单一整体的过程，是联结主义和符号主义的桥梁，由于离散化的存在，连续的变化的数据才变成了单一、离散的表征，我们才能进行程序化的计算、推理，这也是我下一个要提到的图灵机制的关键所在。3. 图灵机制。Bengio所提的意识State恰恰说明他意识到了大脑中图灵机制的存在，意识State就是运行时的世界模型，从记忆中提取的世界知识，借助感知数据，我们在意识活动（注意和工作记忆）下建立运行时的世界模型，并进行推演从而做出准确的预测。正因为有了这样的理解，我们才能够自信地认为BERT的基于概率的方向是存在明显问题的，至少他不是人脑运作的方式。我们应该结合神经网络的海量表征潜在常识与自然语言的数据，共同来筑建运行时模型，才能做出最准确的对语言的理解，才能进行推理和解决问题。对此Bengio非常谦虚地表示，在这个框架下未来将有很多工作要做，是一种非常务实的心态，如何训练出我们想要的海量无法用言语来形容的，对意识层面或者完形、离散化有益的表征，将是下一步研究课题。

 

对表征（representation）空间的依赖贯穿计算机科学乃至日常生活的始终。在计算机科学中，如果数据有精当的结构，辅以智能化的索引，那么搜索任务的速度可以指数级加快；对于人来说，计算『 210 除以 6 等于几？』是容易的，计算『 CCX 除以 VI 等于几？』则需要更多时间。表征空间的选择对机器学习算法的性能影响，由此可见一斑。」《深度学习》[1] 一书如是评价表征的重要性。 Read more

完形与世界模型

dengfanxin 思想实验

本文主要探讨完形与世界模型的关系。


格式塔心理学引入了心理学的动力学视角，启发我们从一个全新的角度看待世界模型的构建，自我、感官、旧脑等综合作用下会产生不同的行为环境的内容。
考卡夫向我们展示了一系列实验，表明人在解构感知信息时会倾向于简单性、相似性、闭合性等一系列完形原则，虽然其大作《格式塔心理学原理》中并未探讨成因，但在生理-心理联合框架上下足了理论功夫。 Read more

ICPS 2015上认知语言学之父George Lakoff的演讲全文

dengfanxin 教程

如果全部读完，基本算是一门脑科学、心理学、神经科学入门指引课。视频地址：https://www.youtube.com/watch?v=WuUnMCq-ARQ

 

Most thought is unconscious, and the usual estimate is around 98 percent. But if you believe the work that Stan Dehaene talked about the other night, it is more than 98 percent. Consciousness is the tip of the iceberg of thought. It is there that things are put together in an interesting way and the interesting way is the following, that before consciousness, what happens is that your brain unconsciously changes what you perceive or what you think. This is something remarkable. I think one of the best papers I heard on this was by Shin Shimojo who is a vision scientist at the Caltech. He came to Berkeley a couple of months ago and gave a truly remarkable overview of experiments that showed this, many of them which were his. Let me give you a sense of this. Suppose you know that if there are flashing lights and they are going along and they are going fast enough, they look like a single stream. Read more

Tensorflow数据读取指南

dengfanxin 技术

tensorflow的灵活性带来的学习成本是很多人头疼的问题，在tf中，读取数据基本有四种方法：
1. tf.data （官方推荐）：方便地构建复杂的输入管道
2. Feeding：通过input_fn来yield数据
3. QueueRunner：基于队列的输入管道
4. 预加载数据。用constant或variable在内存中存储所有的数据
Read more

The Development of Movement – Stages

dengfanxin 未来

By Dr Emmi Pikler

An excerpt PEACEFUL BABIES – CONTENTED MOTHERS (published in 1940),
taken from the Sensory Awareness Foundation publication BULLETIN (Number 14/Winter 1994).

Children, particularly in cities, tend to sit poorly and have bad posture. They cannot sit, stand or walk properly, not to mention more complicated movements.

This, of course, is not self-evident to every reader.  I can hear the astonished responses: “What? My children can’t move?!” “My little daughter could already sit when she was just four months old”  “Mine was already standing at six months”… “When my son was not even one year old, he was walking.”
Read more