关于深度学习和小样本学习问题的新认识

第一个问题,小样本学习问题

之前,我一直认为深度学习的小样本学习能力差,是因为不应该用统计的手段,但现在意识到不是因为统计的问题,而是因为重新发明了轮子,信息利用度不够,举个例子自然图像识别的第一层是方向基,线条基,大家都在重复地训练第一层就是重复劳动,第二层、第三层也有类似的问题,其实前面几层都用通用性,即使到了后面几层,不同的训练之间也是有大量共通的东西。而通用智能的解决方案在于提供了一种灵活、高度的可复用机制。说白了,当我们有足够好的条件的时候,我们会尽量减少统计,但统计的本质没有错。 Read more

人工智能各行业应用结合方式浅脑暴

旅游 行程管家
宾馆 自动宾馆管理系统、智能安防、自动生物识别支付
餐饮 自动配送系统,自动餐饮制作机器人
宠物、花鸟 自动宠物喂食机、宠物健康管理器、宠物养成小秘书
文化艺术 自动创作机(绘画、音乐、雕塑、电影、游戏等等)
购物 自动购物比价、选择工具
机械设备 廉价工业机器人、基于廉价摄像头和低精度控制设备
监督、投诉及热线电话 自动语音服务
美发美容 理发、美发机器人、发型设计
老年服务 养老机器人
闲置物品调剂回收 自动物流机器人、自动驾驶、智能全局调配秘书主动告知有需要的用户
纺织品 个性化量身定制
照相 自动相册管理小秘书
超市 全自动结账系统,自动导购
商场 自动导购pepper
通信 自动社交管家
医疗保健 健康管理 医疗诊断
金融 自动投资助理、炒股机器人、炒期货机器人
保险 自动保险规划、个性化风险识别
城市公共交通 全自动驾驶、辅助驾驶
房产 建材 装潢 智能家居、家庭机器人、家庭宠物机器人
礼品 礼品推荐器
教育事业 教育机器人、个性化教育、陪伴教育
农业 自动化生产
科学技术 从事科研研究,发现新理论,新技术。
社会 犯罪预防、人群识别
其他 验证码破解器、辅助输入、遗留系统自动对接、自动编程器、蚊子发现器、视觉爬虫(快速爬虫开发工具)

灵长类动物视觉皮层V2区的复杂形状选择性|Selectivity for Complex Shapes in Primate Visual Area V2

译者注:本文翻译了Jay Hegde和David C. Van Essen的论文《Selectivity for Complex Shapes in Primate Visual Area V2》,V1区的研究已经相当透彻,IT区的很多研究也表明了物体的选择性,大家都很好奇从V1到IT区的整个object recognition过程中发生了什么,这些intermedia area中的神经元有哪些特性呢?本文是一个较好的尝试。原文地址:http://www.jneurosci.org/content/20/5/RC61.full.pdf

灵长类动物视觉皮层V2区的复杂形状选择性

结果

复杂轮廓和光栅的V2区细胞选择性

图1

Read more

流形学习和维度灾难|Manifold Learning and the Curse of Dimensionality

本文是对Bengio大神的新作《Deep learning》一书中[5.12.3 Manifold Learning and the Curse of Dimensionality]一节的拙劣翻译,希望能对英文不好的同学理解原著起到一点点作用。

5.12.3 流形学习和维度灾难
让我们来看看一种特殊的机器学习任务类型——流形学习。虽然它是用来消减维度灾难的,我们仍要讨论一下它可以帮助可视化和突显平滑先验法对于高维空间的泛化能力是不足的。第17章将重点关注表示方式学习的流形视角并深入这一课题的更多细节,研究基于神经网络的实践中的流形学习算法。
一个流形是一个连接区域,一个点的集合,每个点相互临近,使得其看起来想一个欧几里得空间。相邻的概念意味着存在一些转换能够使这个流形从一个位置移动到一个相邻的位置。虽然有形式化的数学手段表述相邻概念,但机器学习更倾向于松散地用这个概念去讨论一组连接的点,这组点可以通过只考虑高维空间中很小一部分自由度和维度就能被很好的近似。每个维度对应一个局部变化方向,比如,向某个方向移动流形。我们所说的机器学习中的流形是点的子集,称作嵌入空间(也是一个流形)的子流形。 Read more

类人智能系统的十四个关注点

5C39EE93-6D18-4C0B-A8EB-F7981CE7F7FE

作为近期思考的简单总结,列出如下十四个关注点,一个出色的智能系统需要对这些方面都有清晰明了的认识或解决方案,还有许多其他方面的因素可能没有考虑进来,这也说明了类人智能系统的复杂性是巨大的。

一、分离性。视觉原理表明从眼球进入的神经信息就已经不是整齐划一的,比如计算机中的图像用坐标和RGB值,不同的神经节细胞传递不同类型的信息进入膝状体,膝状体有大细胞层、小细胞层、尘细胞层,各种细胞又分别向上传递不同的信息类型;除了视觉系统以外,所有的系统,都遵循分离性原则,事物的每个侧面特征都是分离表述的,比如声音的音高、音量、音色;运动的快慢、轨迹等等。
二、内部一致性。视觉传递的信息,还是听觉信息,在内部都变成了随时间变化的脉冲信号,即可以看成时间为横轴的离散点,时间一致性散落在所有神经元中。
三、连续性。颜色、边线、角度、空域频率等等信息又集中在相同的视野内,至少直到视觉高层,这种原则都是得到保持的
四、去时间性。以视觉为例,眼球的快速运动使得不同位置的信息源源不断地流入大脑,在大脑中不同位置的信息不是在同一时刻到达,而是连续不断地到达,所以传统的机器学习的静态处理手段显然不符合大脑的处理原则。通过短时记忆,跨时间的综合特征分析才是王道。 Read more

我的人工智能路线

最近的一些进展我们可以看到,无论是人脑中的位置神经元的发现,还是所谓的小样本学习能力——向人类一样学习写字,包括我们越来越多的看到家庭机器人的创业公司,越来越多的关于人工智能和机器人的科技博客,比如新智元、机器之心,当然也包括,马斯克创建的人工智能安全控制联盟(OpenAI),大家对于AI的关注度正在不断上升,现在似乎就等待那一个刹那,一个临界点了。
这个技术爆发点将出现在哪里?是DeepMind?是Deep Learning?是欧脑计划?还是百度大脑?是谷歌,还是微软?是MIT还是斯坦福?一切不得而知,但对于我而言,一切很清晰,我不是民科,也不是科学家,不相信可以以一己之力突破世纪难题,就算提出了可能的理论模型,也未必有可行的计算力支撑,当下的愿望便是希望整个世界的进度再快一些,最好能有更多有价值的成果出现,尤其是关键性成果的出现,这样,我们便可以借助新的思路,快速突破现有的智能局限,迎接全新的智能技术革命。

参考链接:

http://tech.sina.com.cn/d/i/2015-12-12/doc-ifxmpnqi6368668.shtml
http://it.sohu.com/20151212/n431026627.shtml

类人智能的几个启示

3352153404_4bbb97fcd2

一、“勿忘有机组成”

很多人可能还记得哲学课中的一个关键词“有机组成部分”,意指很多部分通过比较恰当的方式组成在一起,就会提供各个部分无法提供的功能,比如一辆汽车,缺少一些核心部件,就无法实现他的功能,比如轮子,方向盘、发动机,等等。
在处理人工智能问题时,同样需要重点关注这个基本原则,这个原则提醒我们,很多时候可能我们离成功只差一步,我们可能还缺少一个关键部件,比如,有了自稀疏编码器、有了层次化结构模型、但缺少attetion machanism,即注意力机制,可能也会无法实现我们想要的智能,从另一个角度,很多东西可能又不是必要的,比如神经支撑物、蛋白质、血液。 Read more

神经网络图灵机(Neural Turing Machines, NTM)

近期,Google Deep Mind团队提出了一个机器学习模型,并起了一个特别高大上的名字:神经网络图灵机,我为大家翻译了这篇文章,翻译得不是特别好,有些语句没读明白,欢迎大家批评指正 :)

原论文出处:http://arxiv.org/pdf/1410.5401v1.pdf。

版权所有,禁止转载。


 

神经网络图灵机

Alex Graves gravesa@google.com
Greg Wayne gregwayne@google.com
Ivo Danihelka danihelka@google.com

Google DeepMind, London, UK

摘要

本文通过引入一个使用注意力程序进行交互的外部存储器(external memory)来增强神经网络的能力。新系统可以与图灵机或者冯·诺依曼体系相类比,但每个组成部分都是可微的,可以使用梯度下降进行高效训练。初步的结果显示神经网络图灵机能够从输入和输出样本中推理出(infer)简单的算法,如复制、排序和回忆。

Read more

深度学习与类人智能目标还有多远?

卷积神经网络
卷积神经网络

上图是CNN,卷积神经网络,经典的深度学习网络模型。
深度学习近几年真是风光无限,各大IT公司都斥巨资投入相关的研究,从事相关研究的研究员也已经不计其数,业界的大神的名字想必你也听出了茧子,深度学习从2006年一路走来发达的故事估计网上也是铺天盖地,本文就不赘述了。

本文主要探讨深度学习本身的价值和弊端。

深度学习的成功之处在于采用了分层训练机制,即逐层初始化后,再进行全局性回归迭代。而分层思想正好与人脑的分层机制保持了一致,从脑神经学的研究成果和深度学习算法的实践都让大家开始认同,分层机制是智能的核心机制之一。虽然数学上大家对于深度学习在传统机器学习领域的进步原因没有理论上的说明,但是从大的方向上,我认为这一步是对的,因为分层机制和自然界的组成模式高度吻合,充分发挥计算效率的最佳办法就是最小化表示,最大化容量。 Read more

家庭机器人的演化路径

机器管家

扫地机器人可以算是家庭机器人的草履虫,是最早进入家庭的带有智能性质的设备,由于机器人技术目前的困境,我们可以预见,随着技术的进化,最先进入家庭的将是宠物机器人,因为宠物机器人可以具备较少的技能,更多的随机性,但需要解决两个问题,一个是宠物机器人最好具备一定技能,比如打扫卫生,这里指的是完全的独立的打扫能力,另一个是可爱性,这个你懂得,家里一个瓦力,哼哼小曲,打扫房间,没事惹你一下,将非常具有吸引力。

继宠物机器人之后的应该是机器管家,基本可以打理家务,具备清洁、烹饪、打理、提醒、事项管理等基础性家庭劳动,机器管家再升级则是护理病患等高级医疗护理活动。

随着机器管家智能的提升,机器管家最终可能演化成入人一般的真正独立的机器人,这已经不是本文探讨的范畴。

如此演化主要依赖的是智能和仿生学两条主线,智能主要决定机器人的智力,仿生学主要决定的机器人的运动能力,两者都向的人类标准迈进,人工智能目前主要寄期望于大脑计划(Brain Project),仿生学主要寄希望于纳米技术。目前大脑计划进展顺利,很快可以达到模拟人脑的计算水平,纳米技术方面已经有很多人造肌肉面世,但到实用并工业化还有一段路要走。

不论怎样,在可预见的未来,机器宠物、机器管家将会走入我们的生活。