Deep Learning Tutorial 深度学习教程翻译

国内互联网上关于deeplearning.net上的Deep Learning Tutorial的翻译有很多,但很零散,并且没有人有效地把这些组织起来,本文对这些进行了整理,带有>前往的都是已经找到的对应的翻译文章,有些是我自己写的,其他一些还没有的,我会自己补充上。

前置阅读

Machine Learning for AI an introduction to Deep Learning algorithms

Learning Deep Architectures for AI (Foundations & Trends in Machine Learning, 2009).

Theano basic tutorial

正式教程

准备工作 – 它介绍了符号,本教程中使用的数据集(可下载),以及对随机梯度下降法所做的优化。 > 前往

纯监督学习算法,按顺序阅读:

  1. Logistic Regression – 简单使用Theano > 前往
  2. Multilayer perceptron – 介绍layer >前往
  3. Deep Convolutional Network – LeNet5的简化版本 >前往

无监督和半监督学习算法,阅读顺序无要求:(自编码器与RBM/DBN议题相互独立):

  • Auto Encoders, Denoising Autoencoders, 自编码器,去噪自编码器 – 自编码器描述 >前往
  • Stacked Denoising Auto-Encoders,堆栈式自编码器 – 进行深度网络无监督预训练的简单步骤 >前往
  • Restricted Boltzmann Machines,受限玻尔兹曼机 -单层生成式RBM模型
  • Deep Belief Networks – 深度信念网络 -先进行栈式RBMs的无监督生成式预训练再进行有监督微调

面向mcRBM模型构建, 关于从能量模型采样的新教程:

  • HMC Sampling,混合蒙特卡罗采样 -混合(又名汉密尔顿)蒙特卡洛采样 scan()

面向收缩自编码器的构建教程, 目前已经有了代码:

  • Contractive auto-encoders code,收缩自编码器代码 – 代码中有基础文档

带有词语嵌入和上下文窗口的Recurrent neural networks

  • Semantic Parsing of Speech using Recurrent Net

用于语义分析的LSTM:

  • LSTM network

基于能量的recurrent neural network (RNN-RBM)

  • Modeling and generating sequences of polyphonic music,和弦音乐序列的建模与生成

人工智能任务的分类

本文主要提出一种智能任务分类方法,希望未来可以有利于智能系统的设计和评估。

本稿属于2016年06月24日初稿,后续会不断修订更新,转载须注明出处。

 

人工智能任务的分类

邓范鑫

为了实现AI-Complete(AI-Hard,AI完全)问题,我们需要一些测量方法,最著名的测量方法当属图灵测试。一个可以解决AI完全问题的机器应该在必要辅助的设备帮助下,可以完成人类能够完全的所有任务,亦即它像人类一样的智能(Intelligent),我们便称其为强人工智能(True AI或Strong AI)。这些人类可以完成的任务,我们称之为人工智能任务,简称AI任务,AI任务有不同的难易程度,所谓难易是基于所需要的智力资源的多少,一般呈现到科学技术领域,表现出来的是越容易模拟实现的AI任务越简单,越难于模拟实现的任务越困难,目前还有很多AI任务,除人类以外没有任何对象可以完成。 Read more

Linsker网络的模拟实验

结合原论文[1]整理出Linsker网络的定义并进行了实现。

【Linsker网络定义】

突触分布函数: \(e^{-a^Mr^2}\),其中,\(r_M\equiv(a^M)^{-\frac{1}{2}}\)
假设L层向M层输入
a representation用\(\pi\)代表,则{\(F^{L\pi}_x\)}代表L层\(\pi\)表示的所有位置(x)的活动(activity)的集合。

第一层为A,定义同一box内的\(F^{A\pi}_x\)相同,跨box之间不相关。
第二层为B,对于A层的每一个box只接收其中的一个或几个输入。
\(N_B\)代表从A到一个B细胞的突触数,这些突触零星散步在\(\pi^2_B\)的范围内,可以将该约束表示为:N_B\delta^2/\pi^2_B \lesssim 1

Read more

维度灾难与降维

本文将分析和讨论人类智能应对维度灾难的解决方案,应对维度灾难的核心解决方案是降维,那么如何降维,降维的信息如何利用从而来完成智能任务呢?降维作为一个通用的处理原则,它反映在智能处理的各个方面,下面让我为您一一道来。

维度灾难是传统算法在完成智能任务时面对的巨大挑战,而在自然界,生物所面临的世界是极度复杂的,理论上的输入维度可以无穷大,面对维度灾难,具有强烈适应性的生物一般都具有自己的处理方案,随着处理方式的简单到复杂反映了智力的从低到高,人类之所以成为万物之首,究其原因是在应对复杂局面时有更高级的应对办法,这就是高级智能的结果。通过分析这些适者生存的各类生物的生存能力,我们会发现,在整个生物链上,越是低等的动物,他们的脑越小,意味着能够处理的信息能力有限,因为在面对这个复杂的世界时,会尽力减少输入的信息量,只选择对自己最有价值的信息,如参考资料[1]中提到的,不真实性问题就是对降维的观察,想象一下带有触角的昆虫,触角将整个世界的可能输入转变为两个触角的探测,这远比视觉的输入维度要低的多。当然,并不是所有的感觉输入都是降维的,听觉系统就是一个典型的升维操作,通过耳蜗分频使得大脑可以处理复杂的序列信息,升维的目的在于提高输入信息的丰富性,这是因为高维信息隐藏在低维表示中,值得一提的是,大脑皮层似乎没有升维能力,必须借助特定的器官才行。

Read more

关于深度学习和小样本学习问题的新认识

第一个问题,小样本学习问题

之前,我一直认为深度学习的小样本学习能力差,是因为不应该用统计的手段,但现在意识到不是因为统计的问题,而是因为重新发明了轮子,信息利用度不够,举个例子自然图像识别的第一层是方向基,线条基,大家都在重复地训练第一层就是重复劳动,第二层、第三层也有类似的问题,其实前面几层都用通用性,即使到了后面几层,不同的训练之间也是有大量共通的东西。而通用智能的解决方案在于提供了一种灵活、高度的可复用机制。说白了,当我们有足够好的条件的时候,我们会尽量减少统计,但统计的本质没有错。 Read more

人工智能各行业应用结合方式浅脑暴

旅游 行程管家
宾馆 自动宾馆管理系统、智能安防、自动生物识别支付
餐饮 自动配送系统,自动餐饮制作机器人
宠物、花鸟 自动宠物喂食机、宠物健康管理器、宠物养成小秘书
文化艺术 自动创作机(绘画、音乐、雕塑、电影、游戏等等)
购物 自动购物比价、选择工具
机械设备 廉价工业机器人、基于廉价摄像头和低精度控制设备
监督、投诉及热线电话 自动语音服务
美发美容 理发、美发机器人、发型设计
老年服务 养老机器人
闲置物品调剂回收 自动物流机器人、自动驾驶、智能全局调配秘书主动告知有需要的用户
纺织品 个性化量身定制
照相 自动相册管理小秘书
超市 全自动结账系统,自动导购
商场 自动导购pepper
通信 自动社交管家
医疗保健 健康管理 医疗诊断
金融 自动投资助理、炒股机器人、炒期货机器人
保险 自动保险规划、个性化风险识别
城市公共交通 全自动驾驶、辅助驾驶
房产 建材 装潢 智能家居、家庭机器人、家庭宠物机器人
礼品 礼品推荐器
教育事业 教育机器人、个性化教育、陪伴教育
农业 自动化生产
科学技术 从事科研研究,发现新理论,新技术。
社会 犯罪预防、人群识别
其他 验证码破解器、辅助输入、遗留系统自动对接、自动编程器、蚊子发现器、视觉爬虫(快速爬虫开发工具)

灵长类动物视觉皮层V2区的复杂形状选择性|Selectivity for Complex Shapes in Primate Visual Area V2

译者注:本文翻译了Jay Hegde和David C. Van Essen的论文《Selectivity for Complex Shapes in Primate Visual Area V2》,V1区的研究已经相当透彻,IT区的很多研究也表明了物体的选择性,大家都很好奇从V1到IT区的整个object recognition过程中发生了什么,这些intermedia area中的神经元有哪些特性呢?本文是一个较好的尝试。原文地址:http://www.jneurosci.org/content/20/5/RC61.full.pdf

灵长类动物视觉皮层V2区的复杂形状选择性

结果

复杂轮廓和光栅的V2区细胞选择性

图1

Read more

流形学习和维度灾难|Manifold Learning and the Curse of Dimensionality

本文是对Bengio大神的新作《Deep learning》一书中[5.12.3 Manifold Learning and the Curse of Dimensionality]一节的拙劣翻译,希望能对英文不好的同学理解原著起到一点点作用。

5.12.3 流形学习和维度灾难
让我们来看看一种特殊的机器学习任务类型——流形学习。虽然它是用来消减维度灾难的,我们仍要讨论一下它可以帮助可视化和突显平滑先验法对于高维空间的泛化能力是不足的。第17章将重点关注表示方式学习的流形视角并深入这一课题的更多细节,研究基于神经网络的实践中的流形学习算法。
一个流形是一个连接区域,一个点的集合,每个点相互临近,使得其看起来想一个欧几里得空间。相邻的概念意味着存在一些转换能够使这个流形从一个位置移动到一个相邻的位置。虽然有形式化的数学手段表述相邻概念,但机器学习更倾向于松散地用这个概念去讨论一组连接的点,这组点可以通过只考虑高维空间中很小一部分自由度和维度就能被很好的近似。每个维度对应一个局部变化方向,比如,向某个方向移动流形。我们所说的机器学习中的流形是点的子集,称作嵌入空间(也是一个流形)的子流形。 Read more

类人智能系统的十四个关注点

5C39EE93-6D18-4C0B-A8EB-F7981CE7F7FE

作为近期思考的简单总结,列出如下十四个关注点,一个出色的智能系统需要对这些方面都有清晰明了的认识或解决方案,还有许多其他方面的因素可能没有考虑进来,这也说明了类人智能系统的复杂性是巨大的。

一、分离性。视觉原理表明从眼球进入的神经信息就已经不是整齐划一的,比如计算机中的图像用坐标和RGB值,不同的神经节细胞传递不同类型的信息进入膝状体,膝状体有大细胞层、小细胞层、尘细胞层,各种细胞又分别向上传递不同的信息类型;除了视觉系统以外,所有的系统,都遵循分离性原则,事物的每个侧面特征都是分离表述的,比如声音的音高、音量、音色;运动的快慢、轨迹等等。
二、内部一致性。视觉传递的信息,还是听觉信息,在内部都变成了随时间变化的脉冲信号,即可以看成时间为横轴的离散点,时间一致性散落在所有神经元中。
三、连续性。颜色、边线、角度、空域频率等等信息又集中在相同的视野内,至少直到视觉高层,这种原则都是得到保持的
四、去时间性。以视觉为例,眼球的快速运动使得不同位置的信息源源不断地流入大脑,在大脑中不同位置的信息不是在同一时刻到达,而是连续不断地到达,所以传统的机器学习的静态处理手段显然不符合大脑的处理原则。通过短时记忆,跨时间的综合特征分析才是王道。 Read more

我的人工智能路线

最近的一些进展我们可以看到,无论是人脑中的位置神经元的发现,还是所谓的小样本学习能力——向人类一样学习写字,包括我们越来越多的看到家庭机器人的创业公司,越来越多的关于人工智能和机器人的科技博客,比如新智元、机器之心,当然也包括,马斯克创建的人工智能安全控制联盟(OpenAI),大家对于AI的关注度正在不断上升,现在似乎就等待那一个刹那,一个临界点了。
这个技术爆发点将出现在哪里?是DeepMind?是Deep Learning?是欧脑计划?还是百度大脑?是谷歌,还是微软?是MIT还是斯坦福?一切不得而知,但对于我而言,一切很清晰,我不是民科,也不是科学家,不相信可以以一己之力突破世纪难题,就算提出了可能的理论模型,也未必有可行的计算力支撑,当下的愿望便是希望整个世界的进度再快一些,最好能有更多有价值的成果出现,尤其是关键性成果的出现,这样,我们便可以借助新的思路,快速突破现有的智能局限,迎接全新的智能技术革命。

参考链接:

http://tech.sina.com.cn/d/i/2015-12-12/doc-ifxmpnqi6368668.shtml
http://it.sohu.com/20151212/n431026627.shtml