Yoshua Bengio访谈笔记:用意识先验糅合符号主义与联结主义

本文转载自机器之心 作者:邱陆陆。

这篇文章极好地阐释了AI先驱们对通用智能的理解,Bengio不愧为一代大师。感谢机器之心如此专业的分享,也感谢Bengio引领我们走向正确的方向,他所提到的几件重要的事情都体现了他对人类智能深刻的理解。1. 世界模型。无意识状态中存储了海量的关于世界的知识、关系、信息,智能始终基于对世界的理解来进行推理预测。 2. 符号化,我称之为离散化或完形化,从复杂感知数据,海量特征中涌现单一整体的过程,是联结主义和符号主义的桥梁,由于离散化的存在,连续的变化的数据才变成了单一、离散的表征,我们才能进行程序化的计算、推理,这也是我下一个要提到的图灵机制的关键所在。3. 图灵机制。Bengio所提的意识State恰恰说明他意识到了大脑中图灵机制的存在,意识State就是运行时的世界模型,从记忆中提取的世界知识,借助感知数据,我们在意识活动(注意和工作记忆)下建立运行时的世界模型,并进行推演从而做出准确的预测。正因为有了这样的理解,我们才能够自信地认为BERT的基于概率的方向是存在明显问题的,至少他不是人脑运作的方式。我们应该结合神经网络的海量表征潜在常识与自然语言的数据,共同来筑建运行时模型,才能做出最准确的对语言的理解,才能进行推理和解决问题。对此Bengio非常谦虚地表示,在这个框架下未来将有很多工作要做,是一种非常务实的心态,如何训练出我们想要的海量无法用言语来形容的,对意识层面或者完形、离散化有益的表征,将是下一步研究课题。

 

表征(representation)空间的依赖贯穿计算机科学乃至日常生活的始终。在计算机科学中,如果数据有精当的结构,辅以智能化的索引,那么搜索任务的速度可以指数级加快;对于人来说,计算『 210 除以 6 等于几?』是容易的,计算『 CCX 除以 VI 等于几?』则需要更多时间。表征空间的选择对机器学习算法的性能影响,由此可见一斑。」《深度学习》[1] 一书如是评价表征的重要性。 Read more

The Development of Movement – Stages

By Dr Emmi Pikler

An excerpt PEACEFUL BABIES – CONTENTED MOTHERS (published in 1940),
taken from the Sensory Awareness Foundation publication BULLETIN (Number 14/Winter 1994).

Children, particularly in cities, tend to sit poorly and have bad posture. They cannot sit, stand or walk properly, not to mention more complicated movements.

This, of course, is not self-evident to every reader.  I can hear the astonished responses: “What? My children can’t move?!” “My little daughter could already sit when she was just four months old”  “Mine was already standing at six months”… “When my son was not even one year old, he was walking.”
Read more

生成查询网络(GQN)的论文翻译——场景的神经表征与渲染 Neural scene representation and rendering

本文对Deepmind最新成果GQN论文的主要部分进行了翻译

场景的神经表征与渲染 Neural scene representation and rendering

S. M. Ali Eslami, Danilo Jimenez Rezende, Frederic Besse, Fabio Viola,
Ari S. Morcos, Marta Garnelo, Avraham Ruderman, Andrei A. Rusu, Ivo Danihelka,
Karol Gregor, David P. Reichert, Lars Buesing, Theophane Weber, Oriol Vinyals,
Dan Rosenbaum, Neil Rabinowitz, Helen King, Chloe Hillier, Matt Botvinick,
Daan Wierstra, Koray Kavukcuoglu, Demis Hassabis

 

摘要

场景表征——将视觉感受数据转换成简要描述的过程——是智能行为的一个基础。近来的研究表明,当提供足够大的标签数据时,神经网络在此方面表现优越。然而如何避免对标签的依赖依然是个开放性问题。鉴于此,我们开发了产生式查询网络(Generative Query Network, GQN),在该框架内机器可以只依赖自己的感受器来学习表征。GQN接受从不同视角拍摄的场景图片作为输入,构建内部表征并使用该表征来预测从未观察过的视角的场景图像。GQN做到了不依赖标签或领域知识的表征学习,向机器自动学习理解世界又迈进了一步。

Read more

智能时代与互联网时代创业差异

智能时代得创业窗口期将变短,超级公司诞生得可能性巨大,但在通用智能技术达到临界点之前,一定程度上的领域细分依然是人工智能创业的主旋律,超过临界点之后,大多数竞争者将被淘汰,且越甩越远。

互联网时代还难以进入寡头垄断,整个三十年的创业期内各类互联网公司风起云涌,主要的原因是数据的产生和数据的结构化是个体力活,很多公司仅仅凭借数据生成(算法生成和人工生成)和数据结构化就能活得滋润,更不要说建立在数据之上的算法积累了,领先优势更巩固了互联网垂直创业者在各自行业得地位。

智能创业得变革机会要比互联网更多,因为不是所有得行业都需要互联网化,但所有得行业都会面临智能化,两者已经不是一个量级。

智能化的路径是专用向通用演变的过程,也是从众多垂直创业者向一家独大演变的过程。谁得到更通用的智能技术,谁就得到更进阶的密匙。

仅有互联网无法实现共产主义,只有人工智能才能实现终极生产力。

股票、期权、合伙人和员工

他到底是合伙人还是员工?

这是不同的概念,合伙人分的是股份,员工理论上只分期权,所以这个事件的本质是双方的角色分歧,CEO把他当员工看,他把自己当合伙人,而这个角色应该在创业开始时就应该说清楚。

如果你创业想找一个人给你出技术,那么你要分清楚一件事儿,你是让他帮你熬过创业初期还是持续管理公司,前者决定你必须找一个员工,后者才决定你找一个合伙人,合伙人分的是股份,这个股份的价值在于长期性的认可,直接给股份是十分高风险的事情,很多创始人耍机灵,开始时玩模糊战略,等过了两年看清楚了,再决定你的角色问题,就会出现分歧和纠纷。

期权和限制性股权的性质比较相似,都是依赖过去贡献的股权授予机制,是一种按劳分配对抗不确定性的优良机制,所以适用于公司的大部分员工,用于奖励员工过去的努力,注意到没有,这个事件里面就有一段话在讲这个问题,你过去的努力,我已经给我你分红,未来的得看你的表现,这就是对待员工的态度,如果你合伙人,是创始股东,大家就是兄弟,要坐在一起商量,性质是截然不同的,就算你已经不在公司了,你依然是股东,你依然可以享受公司的分红,就像上市公司的大众股东,谁也不同跑去给公司打工,不照样可以享受分红?这就是股权的威力,股权决定了你对公司的拥有权比例而且不用打工就可以获取相应收益的权利。

说到这里,顺便提一下代持,一种对普通员工分配具有无投票性质的股权的办法,这样既保持了管理层的控制力,也保证了大家的努力得到的应当的现金收益。

那么实际上还是有第三种人存在的,比如职业经理人,他既不是创始股东和创始团队的成员,但又是公司重要的管理团队成员,其实是半员工半合伙人性质,这样的人,一般情况下,可能会授予一定的股权,再授予一定的期权,给股权代表着我请你来,是把你当朋友,当兄弟,一起奋斗,给期权,代表着,我还是不是完全信任你,你还要通过表现拿剩下的部分。

但无论是怎样的角色定位,作为创始人都应该在决定与一个人一起共事时,就应该把这个事情理清楚,说清楚,期权是应对概率问题的重要手段,当你对对方的确心有顾忌的时候,就应该明确的说出来,对不起,我不能直接给你股权,我只能给你期权,有部分信任的时候,可以说,我可以给你1%的股权,剩下4%必须是期权,等等。

打马虎眼藏心眼的行为是不负责任的,严重的话就是诈骗。

所以总的来说,创始人首先应该理清楚目标人物的角色和不确定性问题,这样才能结合时间维度、贡献维度和控制维度,组合生成相应的股权期权方案。

使用.ai域名的著名人工智能创业公司盘点

.com域名基本已经废了,除非特别讨巧地起到新的名字,否则基本都要花大价钱才能搞到满意的名字。但这些对于人工智能的初创公司,似乎烦恼更小一点,因为.ai域名的注册价格不菲,导致投机者大幅减少,直到2015年,.ai域名都数量甚微,大量优质域名都无人注册,比如单拼ai域名今年才用尽,而双拼域名大把存在,因此这些人工智能初创公司,就可以开开心心地毫无压力地选择一个比较不错的域名注册。

Read more

类人智能系统的十四个关注点

5C39EE93-6D18-4C0B-A8EB-F7981CE7F7FE

作为近期思考的简单总结,列出如下十四个关注点,一个出色的智能系统需要对这些方面都有清晰明了的认识或解决方案,还有许多其他方面的因素可能没有考虑进来,这也说明了类人智能系统的复杂性是巨大的。

一、分离性。视觉原理表明从眼球进入的神经信息就已经不是整齐划一的,比如计算机中的图像用坐标和RGB值,不同的神经节细胞传递不同类型的信息进入膝状体,膝状体有大细胞层、小细胞层、尘细胞层,各种细胞又分别向上传递不同的信息类型;除了视觉系统以外,所有的系统,都遵循分离性原则,事物的每个侧面特征都是分离表述的,比如声音的音高、音量、音色;运动的快慢、轨迹等等。
二、内部一致性。视觉传递的信息,还是听觉信息,在内部都变成了随时间变化的脉冲信号,即可以看成时间为横轴的离散点,时间一致性散落在所有神经元中。
三、连续性。颜色、边线、角度、空域频率等等信息又集中在相同的视野内,至少直到视觉高层,这种原则都是得到保持的
四、去时间性。以视觉为例,眼球的快速运动使得不同位置的信息源源不断地流入大脑,在大脑中不同位置的信息不是在同一时刻到达,而是连续不断地到达,所以传统的机器学习的静态处理手段显然不符合大脑的处理原则。通过短时记忆,跨时间的综合特征分析才是王道。 Read more

我的人工智能路线

最近的一些进展我们可以看到,无论是人脑中的位置神经元的发现,还是所谓的小样本学习能力——向人类一样学习写字,包括我们越来越多的看到家庭机器人的创业公司,越来越多的关于人工智能和机器人的科技博客,比如新智元、机器之心,当然也包括,马斯克创建的人工智能安全控制联盟(OpenAI),大家对于AI的关注度正在不断上升,现在似乎就等待那一个刹那,一个临界点了。
这个技术爆发点将出现在哪里?是DeepMind?是Deep Learning?是欧脑计划?还是百度大脑?是谷歌,还是微软?是MIT还是斯坦福?一切不得而知,但对于我而言,一切很清晰,我不是民科,也不是科学家,不相信可以以一己之力突破世纪难题,就算提出了可能的理论模型,也未必有可行的计算力支撑,当下的愿望便是希望整个世界的进度再快一些,最好能有更多有价值的成果出现,尤其是关键性成果的出现,这样,我们便可以借助新的思路,快速突破现有的智能局限,迎接全新的智能技术革命。

参考链接:

http://tech.sina.com.cn/d/i/2015-12-12/doc-ifxmpnqi6368668.shtml
http://it.sohu.com/20151212/n431026627.shtml

家庭机器人的演化路径

机器管家

扫地机器人可以算是家庭机器人的草履虫,是最早进入家庭的带有智能性质的设备,由于机器人技术目前的困境,我们可以预见,随着技术的进化,最先进入家庭的将是宠物机器人,因为宠物机器人可以具备较少的技能,更多的随机性,但需要解决两个问题,一个是宠物机器人最好具备一定技能,比如打扫卫生,这里指的是完全的独立的打扫能力,另一个是可爱性,这个你懂得,家里一个瓦力,哼哼小曲,打扫房间,没事惹你一下,将非常具有吸引力。

继宠物机器人之后的应该是机器管家,基本可以打理家务,具备清洁、烹饪、打理、提醒、事项管理等基础性家庭劳动,机器管家再升级则是护理病患等高级医疗护理活动。

随着机器管家智能的提升,机器管家最终可能演化成入人一般的真正独立的机器人,这已经不是本文探讨的范畴。

如此演化主要依赖的是智能和仿生学两条主线,智能主要决定机器人的智力,仿生学主要决定的机器人的运动能力,两者都向的人类标准迈进,人工智能目前主要寄期望于大脑计划(Brain Project),仿生学主要寄希望于纳米技术。目前大脑计划进展顺利,很快可以达到模拟人脑的计算水平,纳米技术方面已经有很多人造肌肉面世,但到实用并工业化还有一段路要走。

不论怎样,在可预见的未来,机器宠物、机器管家将会走入我们的生活。

专家信息

Ask the expert

之前的文章[基于实体的信息时代]讲述了信息的智能化手段,今天我们来说说信息质量问题,之前的实体信息更多建立在传统信息海洋之上,借助智能化手段提炼精髓信息,进行精准推送。而目前的互联网信息质量依然存在极大的进步空间,尤其是细分专业领域,比如无法获知全面的产品比对信息,无法获知深度的医疗信息,无法获得准确的学区信息,等等,stackoverflow,知乎之类的网站是试图增加互联网优质信息的一种手段,stackoverflow的崛起让很多人更容易的获得编程问题的答案。

所谓“专家信息”在这里主要指代的是权威可信的信息内容。一种以用户的角度而不是营销的角度回归“价值信息”将会成为一个亟待改进的方向。

专家信息是丰富信息海洋的重要途径,他将为智能信息推荐提供更加有力的支持。可预见的专家信息产品方向有:

  • 实时性信息
  • 长尾信息
  • 极度专业问答
  • 领域顾问
  • 付费问答
  • 等等