小议动态神经网络

深度学习的发展很快将到达一个瓶颈期,因为从更高的维度来看,从开始到现在我们对待时间问题的处理方式都可能存在的方向上的错误,虽然RNN相关的技术在时序相关问题上取得了不错的成果,但应用范围依然有限。

那么,问题到底出现在哪里?在下献一拙思。

梳理生物等级链的智能演化,大家可以发现,对于时间性问题的处理,是神经网络在诞生之初就最先具备的,而我们的人工神经网络恰恰是从诞生到现在都不具备的,举个例子,对视频进行实时的物体识别、定位与标注是怎样做的?利用训练好的深度神经网络对当下选取的一帧进行计算,算出的向量用于展示,再选取一帧重复计算,整个流程是由人类算法控制的,网络的计算呈现的是时间无关性,亦即就像时间静止时网络做了一件工作,再推动时间向前一步,再静止工作一样,我称之为静态识别网络,进而可以理解如果是动态识别网络,那就像生物学神经网络那样,信息流源源不断地流入,计算在每个局部都在发生,结果在时间流上持续出现。显然,我们现在已知的网络都没有走这条路,这其中可能有计算量的问题,也可能有理论上刻意的选择,但我的见解是动态网络才是智能进阶的关键点。
当然,在整个智能系统中,特征的自动发现、层级组合性等诚然至关重要,但这些关键的能力之外,我们可能还忽略了若干重要的能力,动态性就是其中一个,有了这个能力,我们的网络就可以更加容易地处理时间流上的东西,比如运动控制、传感器流的处理(包括视觉流处理能力,更好的声音流处理能力以及其他知觉的感知能力)、联想、观察、思考、甚至产生意识。

那么现在的RNN存在什么问题呢?

就是因为RNN虽然引入了时间性,但是不彻底,他的本质是直接处理静态化后的数据流,再进行处理。静态化就是将随时间流逝的东西借助缓存等手段变成一个共存的东西,静态化是智能系统面对时间性问题的解决方案,比如视听觉暂留机制、缓存机制,但RNN在静态化方面是被动的,因为网络本身不提供静态化的机制,他只能将人为静态化后的成果进行处理;RNN是图灵完备的,他可以模拟任何计算过程,而程序也是静态化的,每一条指令的执行是基于CPU的时间片的,RNN本质上也是,是通过程序控制RNN的step的,倒不是说这种序列步骤有什么错误,问题在于序列步骤的基础仍然是人为的,所以网络缺乏了施展空间,这种结构限制了RNN具备更加复杂的时间性数据的处理能力,所以你无法用RNN进行实时地观察、联想、思考甚至互动等等。

那应该怎样做呢?

我的一个思路是这样的,基本就是生物脑运行模式,先抛弃计算量的问题不谈,假定我们不需训练已经掌握了一个权重直接确定法,我们先让这个用于某种功能的网络可以实时不断地接收外部数据,每个神经元都独立计算,一个完全的分布式模式;从运动控制、简单的感受器做起,沿着生物进化的脚步增加该神经网络的复杂性。

关于深度学习和小样本学习问题的新认识

第一个问题,小样本学习问题

之前,我一直认为深度学习的小样本学习能力差,是因为不应该用统计的手段,但现在意识到不是因为统计的问题,而是因为重新发明了轮子,信息利用度不够,举个例子自然图像识别的第一层是方向基,线条基,大家都在重复地训练第一层就是重复劳动,第二层、第三层也有类似的问题,其实前面几层都用通用性,即使到了后面几层,不同的训练之间也是有大量共通的东西。而通用智能的解决方案在于提供了一种灵活、高度的可复用机制。说白了,当我们有足够好的条件的时候,我们会尽量减少统计,但统计的本质没有错。 Read more

人工智能各行业应用结合方式浅脑暴

旅游 行程管家
宾馆 自动宾馆管理系统、智能安防、自动生物识别支付
餐饮 自动配送系统,自动餐饮制作机器人
宠物、花鸟 自动宠物喂食机、宠物健康管理器、宠物养成小秘书
文化艺术 自动创作机(绘画、音乐、雕塑、电影、游戏等等)
购物 自动购物比价、选择工具
机械设备 廉价工业机器人、基于廉价摄像头和低精度控制设备
监督、投诉及热线电话 自动语音服务
美发美容 理发、美发机器人、发型设计
老年服务 养老机器人
闲置物品调剂回收 自动物流机器人、自动驾驶、智能全局调配秘书主动告知有需要的用户
纺织品 个性化量身定制
照相 自动相册管理小秘书
超市 全自动结账系统,自动导购
商场 自动导购pepper
通信 自动社交管家
医疗保健 健康管理 医疗诊断
金融 自动投资助理、炒股机器人、炒期货机器人
保险 自动保险规划、个性化风险识别
城市公共交通 全自动驾驶、辅助驾驶
房产 建材 装潢 智能家居、家庭机器人、家庭宠物机器人
礼品 礼品推荐器
教育事业 教育机器人、个性化教育、陪伴教育
农业 自动化生产
科学技术 从事科研研究,发现新理论,新技术。
社会 犯罪预防、人群识别
其他 验证码破解器、辅助输入、遗留系统自动对接、自动编程器、蚊子发现器、视觉爬虫(快速爬虫开发工具)

类人智能的几个启示

3352153404_4bbb97fcd2

一、“勿忘有机组成”

很多人可能还记得哲学课中的一个关键词“有机组成部分”,意指很多部分通过比较恰当的方式组成在一起,就会提供各个部分无法提供的功能,比如一辆汽车,缺少一些核心部件,就无法实现他的功能,比如轮子,方向盘、发动机,等等。
在处理人工智能问题时,同样需要重点关注这个基本原则,这个原则提醒我们,很多时候可能我们离成功只差一步,我们可能还缺少一个关键部件,比如,有了自稀疏编码器、有了层次化结构模型、但缺少attetion machanism,即注意力机制,可能也会无法实现我们想要的智能,从另一个角度,很多东西可能又不是必要的,比如神经支撑物、蛋白质、血液。 Read more