通用智能框架如何指导实践(一)

讨论建立在刚具备初步的通用智能框架理论指导,也有可能是民科水平,没有实践检验,没有发表任何重量级论文的情况下,如何选择未来的问题。

学术著作需要非常严谨的科学精神、科学实验,产业界的要求低很多,隐藏在产品后面的代码哪怕是一坨屎,只要work,一样可以获得用户。如果你认可该通用智能框架的价值,那首先要做的,应该是保密,因为真正的通用智能会带来指数级爆炸的个人能力,是超级武器,是洋枪洋炮对大刀长矛。
类似DeepMind一样,对脑科学有深刻的认知,但每一个开放问题的挑战都充满难度,虽然可以创造性地造出很多新的架构,不断推荐人工智能技术的前沿,但直接实现通用智能仍然可能受到算力和技术上的困扰。
像DeepMind都如此艰难,其他人就会更加艰难,当然不是不行,是概率更低,冒险不划算,搭上全部的精力去做通用智能体可能会无功而返。当然我们其实还是可以有判断标准的,就像任何理论都要接收实验检验一样,通用智能框架理论也要能够解释执行智能任务的工作原理。这个东西解释的越模糊、自造的概念越多,就越不靠谱,约与主流学界的结论像契合,解释的逻辑越清晰通透,扛得住推敲,能否经得住专业人士的质询,就越靠谱。

因此我们假定一个普通智商的工程师虽然获得了高维理论的指导,但做出一样领先世界的东西,我们依然认为有难度,直白的说,就是一个笨蛋拿着枪都未必打得过一个拿到刀的聪明人。但笨蛋依然有活路,他可以去笨蛋堆儿里称王称霸,然后成为了暴发户,雇佣一群聪明人为他效力。越是学术的,笨蛋的机会越少,越是商业的,笨蛋的机会还能多一点,所以对于通用智能框架来说,走商业的路径会更划算一点。当然并不是真的笨蛋就可以在商场有所作为,这种水平的人也就在他家楼下的商场能有点作为而已,所以我们假定这个持有通用智能宝典的人是相对智力金字塔顶端的人们显得比较笨的普通人。
但因为商人的成功没有规律可循,多数的结论会认为这些人都有各自的优势,有一些没有收到良好教育的人也可以称为商业巨子,一些所谓的天子骄子却屡战屡败。由于我们假定我们拿到了通用智能架构这个宝典,就像得到了一门武功秘籍,让我们有机会在这个不是那么挑人的领域里有所作为。
虽然学术界也有很多败类,但真正真正的大家都还是经得起推敲的。但商业世界就不那么严谨,他们不会追究你理论是否真的正确,即使你取得了商业上的成功,也会有很多人认为原因是你走了狗屎运,而成功的人说的每一句话又被奉为创业圣经。
我们喜欢这样的领域,因为你可以更任性和放松一点,就算失败了,你也可以说是运气不好。而若你的理论在商业上取得了成功,你又不想被人发现,构建自己的技术壁垒,你也可以说成是运气使然,并不是我的理论水平高。
这是一个可以很好保护自己的领域,如果你拿到的是一个宝典,你显然不希望它暴露于世人,你可以假装自己借鉴了很多现有的成果,将自己的成功归功于站在巨人的肩膀人,再聪明一点,可以说自己只是应用现有的科技成果而已,只是恰好应用到了对的领域。
如果有人深究,你就亮出非专业的身份,他们会认为你一定是个骗子,大抵会放过你,没有人愿意跟一个傻子浪费自己的时间。是的,光是这样的意淫就很开心,如果去试验一下,岂不是更有趣?
构建安全的AGI非常重要,它关系到人类的命运,一旦不慎,就会擦枪走火,所以制造通用智能反而是要尽量避免的事情,我们更希望借助通用框架来指导专用智能、超级专用智能的开发。所以从现实意义和理想主义两个角度都建议不要强行走通用智能体道路,如果不小心产生了意识会有很麻烦的伦理问题,即使为外界所不知,也要忍受自己的良心煎熬,当然良心很可能会被战胜,贪婪的欲望会战胜一切。

当然失败有可能是注定的,这源于在写下这篇分析文章时,没有引用到真实的数据,缺乏正确的逻辑推理,想当然的结论,尤其这种一气呵成的文章,最缺乏成熟的思考,反复的推敲是有必要的,你所看到的版本可能是改过无数版的结果。上面这段话应该是一直保留的。看国外的论文,尤其是书多了,你会发现,沉下心专注一件事情几十年的人到处都是,而且很多都是顶级的人才,如果他们都没有研究出通用智能框架来,你有什么理由取得成功呢?是时机,十年前我也认为不具备时机,所以对AI没有信心,后来深度学习兴起,我有了信心,才深入学习。发现其实很多事情,专家们都想得很透彻了,甚至可能很多人已经想透,只是因为没有实验成功,他写得厚厚的著作,没有什么人看,大部分包括研究人员都是追着热点走的,他们要尽快出成果,尽快出论文,不可能几十年如一日地做理论学家。但通用智能恰恰是要先搞清楚理论的,然后是解释明白这个理论在完成智能任务上的机制,再然后才是实验,如果专心做通用智能体又可能面临失败,所以今天这个世界上最成功的人工智能研究机构是Deep Mind,他们的思路是对脑科学理解深入,但挑战每个问题的时候,都采用的是专业智能的思想。他们受到Deep Mind科学家的“通用智能架构”的思想的指导,你说他们没有掌握智能的真谛么?不一定,他们懂得工作记忆、注意力、表征学习、海马的原理、精确的脑结构和分区功能,他们能描述出运动控制的基本原理、小脑的原理,他们对大脑的原理已经了解深入,他们可能对很多细节还不太了解,所以他们会谦虚地说没有找到通用智能的钥匙,但我们不能否定他们可能已经掌握了通用智能所需的相当部分知识。所以他们在创建新型网络架构时才得心应手,令其他研究机构望其项背。
在这个世界上任何一个机构发明出通用智能体之前,在开始奴役这些智能体为其免费效力之前,所有持有通用智能架构的公司,仍然可以进行领域细分,所有人做的都是专用智能模块的开发工作,当这些专用模块还不具备足够的灵活性之前,跟我们现在世界各地数以千万计的程序员所写的代码一样,都要人来维护,公司来运作,如果不同的代码用于不同的领域一样,不同的智能模块也应用于不同的领域。这是理想情况下,现实情况更容易一些,整个世界的进展受到各种制约,有的国家整日忙于战乱,生活落后穷困潦倒,饭都吃不上,更不必提什么信息化,连现代化都没有。可以想象即使人工智能极度发达的那一天,仍然有可能有人类生活在贫困线以下,这是人性的问题,不是技术的问题。但这也告诉我们,机会比想象得要大,更更何况人类的需求上限是无止境的,真若要满足终极的需求,智能要做的工作还有很多,包括向科学难题发起挑战。所以,市场空间和竞争压力不是问题,至少起步的这十年应该不是问题。
从长远来看,一个未来的公司,抢占所有的领域份额都是必要的,所有可以智能化的方向都值得抢占。但精力有限,必须将有限的精力放在最有成效的方向上。我们说了,我们假定的前提是当今世界上已经有人掌握了“通用智能架构”,并以其为指导进行专用智能的开发,比如前面一直说的Deep Mind那帮家伙。这就变成与金字塔尖的人抢同一个领域的事儿做,信息系统、智能系统的特点是拷贝无成本,所以任何领先的一方都可能对后来者产生压倒性的胜利。如果我们强行挑战L4\L5,我们冒的风险,就和发表顶会论文一样大了。更务实的,直觉上,我们会认为要进入的领域应该尽量具备以下特点:

  1. 启动成本要足够的低。这涉及技术能力问题,由于是普通人,写代码的速度都比jeff dean慢一倍还多,不可能上来就挑战世界性难题,所以认清自己选择容易上手的开始做,避免三年不出成果,出来就死的尬事。
  2. 巨头投入要足够的少。要知道,即使理想情况下,巨头没掌握的通用智能架构情况下的水平都可能和你掌握了的水平查不多,而他们是假定他们掌握了的,你最好避开他们进入的领域。
  3. 潜在市场要足够的大。如果不足够大,就不能赚足够多的钱,就不能低调地发展,要在不起眼的地方崛起,才能避开世界的注意力。很多团队找不到足够好的市场做切入,在红海里杀的你死我活,只能靠拿打榜来骗投资过活,当他们中大多数并没有掌握高维理论,所以更多是享受巨头的学术和开源红利,这些红利的应用空间有限,用现成的网络架构和开发新网络架构不是一个量级的事情,但有高维理论指导下的新网络架构开发会容易许多。
  4. 门槛要足够的高。保持神秘性是门槛的第一步,巨头没有精力介入是门槛的第二步,等巨头有精力介入时,需要投入足够的资源来开发,需要一定的时间来趟坑,这就赢得了时间上的先机,这时候巨头更喜欢直接收购你,而不是另起炉灶去做。所以选择的市场既不能太大也不能太小,太小违背上一条,太大巨头介入的时间过早,门槛抬的不够高。

实际上,上面的想法是朴素的,不见得直接有效,事情是不断变化的,巨头们也不是直接针对最庞大的市场切入,他们要在经济效益、难易程度、研究热点甚至创始人的喜好等多个角度进行自己的考量,所以他们的切入领域不见得是按市场规模排序的,他可能跳过第8、9、10名直接挑战第11名。而且由于对通用智能框架掌握的不自如,会影响他们的自我判断,有些其实可以挑战的领域还不太敢下手挑战。所以面临的竞争情况将可能是更加不确定的,这些都是从长远角度来看,其实从动态快速变化的视角看度,如果在一些容易点的领域做出一些成绩,虽然竞争激烈,也可以赢得关注和启动资金,接下来再挑战更有难度的事情。所以挑战主流竞赛,尤其是有噱头的也是一种办法,这种路数应该是普遍方案,所以对于持有通用智能方案的人来说,是不经济的,因为很多挑战已经进入超级智能阶段,比如人脸识别,通用智能并不能帮上什么忙,可以挑通用智能擅长的搞,但做比赛有泄露机密的风险,所以要做好预案。融资的利弊是如何考虑的呢?虽然不融资可以将股权占比最大化,但没有资本推动加速成长,会导致绝对收益变化不够快,做通用智能重要的还是与时间赛跑,如果磨洋工,十年后可能就什么机会都没了。因而能在一些人类尚未挑战的领域取得佳绩会是非常不错的发展路数,这就回到了前面的顶会论文发表问题上。那我们是不是发个paper就可以冷启动了?是,但是民科写paper的能力可想而知,没有专业素养,可能耗费很大的精力在一些专业问题上,所以前面说了商业领域比较划算的问题,所以同样的精力,如果能在商业上有价值,那么难度其实降低了的,当然学术难度降低带来的是商业难度的增加,不像学术问题,只要挑战别人没挑战的,不管有没有实用价值,因而需要在商业上做一点精心挑选,但这个挑选是由复合价值的,如果成了,可以改变相应的领域,解放劳动力,带来商业价值,收获声誉的同时带来关注和投资。要知道学术成果商业化一直是个难题,这与我们的商业目标不符,我们的使命是:解放劳动力,让人类不再工作。生产力的极大化繁荣才能实现共产主义。

那么都有哪些领域可以进入呢?三百六十行,行行可进入。

就像无人驾驶要取代司机一样,我们可以列举现代社会的职业分工明细,来看看哪些庞大的领域可以进入。智能的作用也可以是辅助而不只是取代,要知道人类其实是忙不过来的,很多问题主要还是结构性问题,不是需求问题。有些职位很缺人,但是没有足够的知识人才储备。很多人找不到工作,完全是因为不学无术,当然更多的人是生的不好,很难接受良好的教育,或者被恶劣的环境毁掉。不扯远,我们看看现在人类社会有哪些职业。虽然职业之下还能细分,但起码可以得到一个粗粒度的概览。另外,多数技术其实是跨维度的,就是一种技术可以应用非常多的行业,所以切入点更多还是从技术功能的横切面角度入手,而不是职业角度,从职业角度梳理出智能任务,查看智能任务在每个职业的占比,可以总结出智能任务的行业覆盖面。实际上智能任务还依赖智能技术的成熟度,所以最终映射到各级智能技术的的行业覆盖面,举个非常典型的例子,比如很多行业的人都要依赖图灵机制,但信息化时代,只有结构化的数据才能借助图灵机来完成自动化,所以部分程式化的工作得以用计算机来完成,而人类更多处理非形式化的东西,图灵机制就是非常非常切面的技术。最后,我们根据最优化算法,找出综合实现难度和覆盖面的最佳选择。由于是从中国起步,所以我们先从《中华人民共和国职业分类大典》入手。

58同城招聘信息

当然进行下面一步之前,我还要说一下为什么要从职业入手而不是从行业和服务入手,因为一个行业、一个机构或公司、一个服务产品可能需要很多人相互协作,要涉及到非常多的工种,所以这个角度太大。所有的智能任务都是人来完成的,这很容易从人这个角度去细分智能任务。那为什么不直接从人自身的能力入手呢,如果能做到人能做的所有事情,不就可以什么都能做了么?这是通用智能体还无法实现的问题,我们虽然有框架理论的指导,但是具体实现通用智能体还是有很多技术障碍和算力障碍的,现在可以定义成是半通用智能时代,就是用了一个相对清晰的类人智能认知,指导专用智能的开发,那么很多能力就会局限下来,比如面向特定领域、提供有限能力,在自由度较小的可控制体上应用控制技术等等,那么从职业中鉴别出的智能任务就可以直接映射到具体需要的能力上,再推演完成一个任务如何构建该专用智能结构。而人的能力是很通用的,你又制造不出通用能力来,就只能退化到专用结构上来,举个非常简单的例子,人经过十几年的培养,具备了大量的常识,我们要做通用智能体就得训练出这些常识来,而如果退化到专用智能上,很多任务不需要那么多常识,需要的训练的基础概念就少了很多,可能在有限的算力和网络空间内就能训练出来,足够特定任务使用了。再比如非时间类任务就不用考虑时间问题,不用上高难度的时序网络,比如物体定位。但这种能力并不是专科专用的,也具有一定的通用性,所以我们要找到那个专用模块跨行业最多,影响面最大的,或者可定制成本极低的专用模块架构。

–> 接下篇 通用智能框架如何指导实践(二)

通用智能框架如何指导实践(二)

本节主要梳理中华人民共和国职业分类大典和人类技能划分,讨论哪个基础专用智能模块的价值最大,覆盖面最广。

从大类上来看,未来可替代性而言。

大    类 中类 小类 (细类)职业 新职业 可替代性
第一大类:国家机关、党群组织、企业、事业单位负责人 5 16 25+0 0 无法替代,辅助增强
第二大类:专业技术人员 14 115 379+21 42 全部替代,全面升级
第三大类:办事人员和有关人员 4 12 45+1 10 部分替代
第四大类:商业、服务业人员 8 43 147+22 41 全部替代
第五大类:农、林、牧、渔、水利业生产人员 6 30 121+8 9 全部替代,全面升级
第六大类:生产、运输设备操作人员及有关人员 27 195 1119+22 5 全部替代,全面增强
第七大类:军人 1 1 1+0 0 部分替代,辅助增强
第八大类:不便分类的的其他从业人员 1 1 1+0 0 未知

深入分析各类职业,你会发现,现阶段进入全面替代是十分困难的,我们必须遵循从易到难的思路,先从部分替代或工作减轻入手,逐步完成全部替代,这既是科学的演进路线,也可以避免一口吃个胖子的冒进风险。

通用智能的一些重要概念

本文粗浅地讨论我对一些重要概念的理解:记忆 理解 概念 特征世界 识别 比较 归纳 预测 激励 推理 视觉推理 陌生事物 新鲜感 发现异常 生成网络 尝试 想象 动机 目标驱动 脑中图灵机 盲源分离 目标达成 世界模型 回忆 注意力 感知 判断 感觉世界feeling

 

记忆(Memory)——有很多子类型,比如短时记忆、长时记忆,情景记忆、陈述性记忆、程序性记忆等等,不一而足,记忆直接对应着连接关系与其权重,将0也看成权重的话,本质是权重对外界影响的落实。比如一个场景,连续的感觉输入包括相关概念的唤醒,也包括时间性感觉和概念,时间性的记忆由前后关系型连接建立,发生的事物、以及事物的空间和时间关系都影响着大量连接的权重,尤其是一过性场景能形成长期记忆,可能以来脑中的回放机制来加强记忆。短时记忆机制的已逝性和与长时记忆的可塑性,说明权重变化既是敏感的也是可加强的,有可能不同特性的连接用于不同的功能,有些连接比较迟钝,权重落实慢,需要反复刺激,有些权重落实快,增加快降低也快,可塑性太强,反复变化,不便于长期记忆。说到记忆,往往指的是我们意识能感知到的知识、概念、生活经历等等,但实际上类似于感觉初级皮层的功能形成与意识可感知的记忆形成本质都是权重落实问题。只是大脑很难意识到初级皮层的感念,初级皮层的权重形成也是倾向于统计上的落实。而记忆更倾向于一次性的权重落实,和反复单一刺激强调的权重落实。所以无论是情景记忆、程序性记忆,还是陈述性记忆,都是不同类型的输入建立关联的过程而已。回想是记忆落实和加强的重要手段,例如恐怖性经历会刺激本能反复回想该记忆,从而会终身难忘。难忘的记忆征用了较多的记忆资源,并且时常回放进行巩固,轻描淡写的记忆动用了较少的记忆资源,又很少回想,这些记忆资源慢慢被其他记忆所替代。 Read more

小议动态神经网络

深度学习的发展很快将到达一个瓶颈期,因为从更高的维度来看,从开始到现在我们对待时间问题的处理方式都可能存在的方向上的错误,虽然RNN相关的技术在时序相关问题上取得了不错的成果,但应用范围依然有限。

那么,问题到底出现在哪里?在下献一拙思。

梳理生物等级链的智能演化,大家可以发现,对于时间性问题的处理,是神经网络在诞生之初就最先具备的,而我们的人工神经网络恰恰是从诞生到现在都不具备的,举个例子,对视频进行实时的物体识别、定位与标注是怎样做的?利用训练好的深度神经网络对当下选取的一帧进行计算,算出的向量用于展示,再选取一帧重复计算,整个流程是由人类算法控制的,网络的计算呈现的是时间无关性,亦即就像时间静止时网络做了一件工作,再推动时间向前一步,再静止工作一样,我称之为静态识别网络,进而可以理解如果是动态识别网络,那就像生物学神经网络那样,信息流源源不断地流入,计算在每个局部都在发生,结果在时间流上持续出现。显然,我们现在已知的网络都没有走这条路,这其中可能有计算量的问题,也可能有理论上刻意的选择,但我的见解是动态网络才是智能进阶的关键点。
当然,在整个智能系统中,特征的自动发现、层级组合性等诚然至关重要,但这些关键的能力之外,我们可能还忽略了若干重要的能力,动态性就是其中一个,有了这个能力,我们的网络就可以更加容易地处理时间流上的东西,比如运动控制、传感器流的处理(包括视觉流处理能力,更好的声音流处理能力以及其他知觉的感知能力)、联想、观察、思考、甚至产生意识。

那么现在的RNN存在什么问题呢?

就是因为RNN虽然引入了时间性,但是不彻底,他的本质是直接处理静态化后的数据流,再进行处理。静态化就是将随时间流逝的东西借助缓存等手段变成一个共存的东西,静态化是智能系统面对时间性问题的解决方案,比如视听觉暂留机制、缓存机制,但RNN在静态化方面是被动的,因为网络本身不提供静态化的机制,他只能将人为静态化后的成果进行处理;RNN是图灵完备的,他可以模拟任何计算过程,而程序也是静态化的,每一条指令的执行是基于CPU的时间片的,RNN本质上也是,是通过程序控制RNN的step的,倒不是说这种序列步骤有什么错误,问题在于序列步骤的基础仍然是人为的,所以网络缺乏了施展空间,这种结构限制了RNN具备更加复杂的时间性数据的处理能力,所以你无法用RNN进行实时地观察、联想、思考甚至互动等等。

那应该怎样做呢?

我的一个思路是这样的,基本就是生物脑运行模式,先抛弃计算量的问题不谈,假定我们不需训练已经掌握了一个权重直接确定法,我们先让这个用于某种功能的网络可以实时不断地接收外部数据,每个神经元都独立计算,一个完全的分布式模式;从运动控制、简单的感受器做起,沿着生物进化的脚步增加该神经网络的复杂性。

关于深度学习和小样本学习问题的新认识

第一个问题,小样本学习问题

之前,我一直认为深度学习的小样本学习能力差,是因为不应该用统计的手段,但现在意识到不是因为统计的问题,而是因为重新发明了轮子,信息利用度不够,举个例子自然图像识别的第一层是方向基,线条基,大家都在重复地训练第一层就是重复劳动,第二层、第三层也有类似的问题,其实前面几层都用通用性,即使到了后面几层,不同的训练之间也是有大量共通的东西。而通用智能的解决方案在于提供了一种灵活、高度的可复用机制。说白了,当我们有足够好的条件的时候,我们会尽量减少统计,但统计的本质没有错。 Read more

人工智能各行业应用结合方式浅脑暴

旅游 行程管家
宾馆 自动宾馆管理系统、智能安防、自动生物识别支付
餐饮 自动配送系统,自动餐饮制作机器人
宠物、花鸟 自动宠物喂食机、宠物健康管理器、宠物养成小秘书
文化艺术 自动创作机(绘画、音乐、雕塑、电影、游戏等等)
购物 自动购物比价、选择工具
机械设备 廉价工业机器人、基于廉价摄像头和低精度控制设备
监督、投诉及热线电话 自动语音服务
美发美容 理发、美发机器人、发型设计
老年服务 养老机器人
闲置物品调剂回收 自动物流机器人、自动驾驶、智能全局调配秘书主动告知有需要的用户
纺织品 个性化量身定制
照相 自动相册管理小秘书
超市 全自动结账系统,自动导购
商场 自动导购pepper
通信 自动社交管家
医疗保健 健康管理 医疗诊断
金融 自动投资助理、炒股机器人、炒期货机器人
保险 自动保险规划、个性化风险识别
城市公共交通 全自动驾驶、辅助驾驶
房产 建材 装潢 智能家居、家庭机器人、家庭宠物机器人
礼品 礼品推荐器
教育事业 教育机器人、个性化教育、陪伴教育
农业 自动化生产
科学技术 从事科研研究,发现新理论,新技术。
社会 犯罪预防、人群识别
其他 验证码破解器、辅助输入、遗留系统自动对接、自动编程器、蚊子发现器、视觉爬虫(快速爬虫开发工具)

类人智能的几个启示

3352153404_4bbb97fcd2

一、“勿忘有机组成”

很多人可能还记得哲学课中的一个关键词“有机组成部分”,意指很多部分通过比较恰当的方式组成在一起,就会提供各个部分无法提供的功能,比如一辆汽车,缺少一些核心部件,就无法实现他的功能,比如轮子,方向盘、发动机,等等。
在处理人工智能问题时,同样需要重点关注这个基本原则,这个原则提醒我们,很多时候可能我们离成功只差一步,我们可能还缺少一个关键部件,比如,有了自稀疏编码器、有了层次化结构模型、但缺少attetion machanism,即注意力机制,可能也会无法实现我们想要的智能,从另一个角度,很多东西可能又不是必要的,比如神经支撑物、蛋白质、血液。 Read more