结合原论文[1]整理出Linsker网络的定义并进行了实现。
突触分布函数: \(e^{-a^Mr^2}\)，其中，\(r_M\equiv(a^M)^{-\frac{1}{2}}\)
假设L层向M层输入
a representation用\(\pi\)代表，则{\(F^{L\pi}_x\)}代表L层\(\pi\)表示的所有位置(x)的活动(activity)的集合。
第一层为A，定义同一box内的\(F^{A\pi}_x\)相同，跨box之间不相关。
第二层为B，对于A层的每一个box只接收其中的一个或几个输入。
\(N_B\)代表从A到一个B细胞的突触数，这些突触零星散步在\(\pi^2_B\)的范围内，可以将该约束表示为：N_B\delta^2/\pi^2_B \lesssim 1
本文将分析和讨论人类智能应对维度灾难的解决方案，应对维度灾难的核心解决方案是降维，那么如何降维，降维的信息如何利用从而来完成智能任务呢？降维作为一个通用的处理原则，它反映在智能处理的各个方面，下面让我为您一一道来。
维度灾难是传统算法在完成智能任务时面对的巨大挑战，而在自然界，生物所面临的世界是极度复杂的，理论上的输入维度可以无穷大，面对维度灾难，具有强烈适应性的生物一般都具有自己的处理方案，随着处理方式的简单到复杂反映了智力的从低到高，人类之所以成为万物之首，究其原因是在应对复杂局面时有更高级的应对办法，这就是高级智能的结果。通过分析这些适者生存的各类生物的生存能力，我们会发现，在整个生物链上，越是低等的动物，他们的脑越小，意味着能够处理的信息能力有限，因为在面对这个复杂的世界时，会尽力减少输入的信息量，只选择对自己最有价值的信息，如参考资料[1]中提到的，不真实性问题就是对降维的观察，想象一下带有触角的昆虫，触角将整个世界的可能输入转变为两个触角的探测，这远比视觉的输入维度要低的多。当然，并不是所有的感觉输入都是降维的，听觉系统就是一个典型的升维操作，通过耳蜗分频使得大脑可以处理复杂的序列信息，升维的目的在于提高输入信息的丰富性，这是因为高维信息隐藏在低维表示中，值得一提的是，大脑皮层似乎没有升维能力，必须借助特定的器官才行。
第一个问题，小样本学习问题
之前，我一直认为深度学习的小样本学习能力差，是因为不应该用统计的手段，但现在意识到不是因为统计的问题，而是因为重新发明了轮子，信息利用度不够，举个例子自然图像识别的第一层是方向基，线条基，大家都在重复地训练第一层就是重复劳动，第二层、第三层也有类似的问题，其实前面几层都用通用性，即使到了后面几层，不同的训练之间也是有大量共通的东西。而通用智能的解决方案在于提供了一种灵活、高度的可复用机制。说白了，当我们有足够好的条件的时候，我们会尽量减少统计，但统计的本质没有错。 Read more
| 旅游 | 行程管家 |
| 宾馆 | 自动宾馆管理系统、智能安防、自动生物识别支付 |
| 餐饮 | 自动配送系统，自动餐饮制作机器人 |
| 宠物、花鸟 | 自动宠物喂食机、宠物健康管理器、宠物养成小秘书 |
| 文化艺术 | 自动创作机（绘画、音乐、雕塑、电影、游戏等等） |
| 购物 | 自动购物比价、选择工具 |
| 机械设备 | 廉价工业机器人、基于廉价摄像头和低精度控制设备 |
| 监督、投诉及热线电话 | 自动语音服务 |
| 美发美容 | 理发、美发机器人、发型设计 |
| 老年服务 | 养老机器人 |
| 闲置物品调剂回收 | 自动物流机器人、自动驾驶、智能全局调配秘书主动告知有需要的用户 |
| 纺织品 | 个性化量身定制 |
| 照相 | 自动相册管理小秘书 |
| 超市 | 全自动结账系统，自动导购 |
| 商场 | 自动导购pepper |
| 通信 | 自动社交管家 |
| 医疗保健 | 健康管理 医疗诊断 |
| 金融 | 自动投资助理、炒股机器人、炒期货机器人 |
| 保险 | 自动保险规划、个性化风险识别 |
| 城市公共交通 | 全自动驾驶、辅助驾驶 |
| 房产 建材 装潢 | 智能家居、家庭机器人、家庭宠物机器人 |
| 礼品 | 礼品推荐器 |
| 教育事业 | 教育机器人、个性化教育、陪伴教育 |
| 农业 | 自动化生产 |
| 科学技术 | 从事科研研究，发现新理论，新技术。 |
| 社会 | 犯罪预防、人群识别 |
| 其他 | 验证码破解器、辅助输入、遗留系统自动对接、自动编程器、蚊子发现器、视觉爬虫（快速爬虫开发工具） |
译者注：本文翻译了Jay Hegde和David C. Van Essen的论文《Selectivity for Complex Shapes in Primate Visual Area V2》，V1区的研究已经相当透彻，IT区的很多研究也表明了物体的选择性，大家都很好奇从V1到IT区的整个object recognition过程中发生了什么，这些intermedia area中的神经元有哪些特性呢？本文是一个较好的尝试。原文地址：http://www.jneurosci.org/content/20/5/RC61.full.pdf
本文是对Bengio大神的新作《Deep learning》一书中[5.12.3 Manifold Learning and the Curse of Dimensionality]一节的拙劣翻译，希望能对英文不好的同学理解原著起到一点点作用。
5.12.3 流形学习和维度灾难
让我们来看看一种特殊的机器学习任务类型——流形学习。虽然它是用来消减维度灾难的，我们仍要讨论一下它可以帮助可视化和突显平滑先验法对于高维空间的泛化能力是不足的。第17章将重点关注表示方式学习的流形视角并深入这一课题的更多细节，研究基于神经网络的实践中的流形学习算法。
一个流形是一个连接区域，一个点的集合，每个点相互临近，使得其看起来想一个欧几里得空间。相邻的概念意味着存在一些转换能够使这个流形从一个位置移动到一个相邻的位置。虽然有形式化的数学手段表述相邻概念，但机器学习更倾向于松散地用这个概念去讨论一组连接的点，这组点可以通过只考虑高维空间中很小一部分自由度和维度就能被很好的近似。每个维度对应一个局部变化方向，比如，向某个方向移动流形。我们所说的机器学习中的流形是点的子集，称作嵌入空间(也是一个流形)的子流形。 Read more
作为近期思考的简单总结，列出如下十四个关注点，一个出色的智能系统需要对这些方面都有清晰明了的认识或解决方案，还有许多其他方面的因素可能没有考虑进来，这也说明了类人智能系统的复杂性是巨大的。
一、分离性。视觉原理表明从眼球进入的神经信息就已经不是整齐划一的，比如计算机中的图像用坐标和RGB值，不同的神经节细胞传递不同类型的信息进入膝状体，膝状体有大细胞层、小细胞层、尘细胞层，各种细胞又分别向上传递不同的信息类型；除了视觉系统以外，所有的系统，都遵循分离性原则，事物的每个侧面特征都是分离表述的，比如声音的音高、音量、音色；运动的快慢、轨迹等等。
二、内部一致性。视觉传递的信息，还是听觉信息，在内部都变成了随时间变化的脉冲信号，即可以看成时间为横轴的离散点，时间一致性散落在所有神经元中。
三、连续性。颜色、边线、角度、空域频率等等信息又集中在相同的视野内，至少直到视觉高层，这种原则都是得到保持的
四、去时间性。以视觉为例，眼球的快速运动使得不同位置的信息源源不断地流入大脑，在大脑中不同位置的信息不是在同一时刻到达，而是连续不断地到达，所以传统的机器学习的静态处理手段显然不符合大脑的处理原则。通过短时记忆，跨时间的综合特征分析才是王道。 Read more
最近的一些进展我们可以看到，无论是人脑中的位置神经元的发现，还是所谓的小样本学习能力——向人类一样学习写字，包括我们越来越多的看到家庭机器人的创业公司，越来越多的关于人工智能和机器人的科技博客，比如新智元、机器之心，当然也包括，马斯克创建的人工智能安全控制联盟（OpenAI），大家对于AI的关注度正在不断上升，现在似乎就等待那一个刹那，一个临界点了。
这个技术爆发点将出现在哪里？是DeepMind？是Deep Learning？是欧脑计划？还是百度大脑？是谷歌，还是微软？是MIT还是斯坦福？一切不得而知，但对于我而言，一切很清晰，我不是民科，也不是科学家，不相信可以以一己之力突破世纪难题，就算提出了可能的理论模型，也未必有可行的计算力支撑，当下的愿望便是希望整个世界的进度再快一些，最好能有更多有价值的成果出现，尤其是关键性成果的出现，这样，我们便可以借助新的思路，快速突破现有的智能局限，迎接全新的智能技术革命。
参考链接：
http://tech.sina.com.cn/d/i/2015-12-12/doc-ifxmpnqi6368668.shtml
http://it.sohu.com/20151212/n431026627.shtml
一、“勿忘有机组成”
很多人可能还记得哲学课中的一个关键词“有机组成部分”，意指很多部分通过比较恰当的方式组成在一起，就会提供各个部分无法提供的功能，比如一辆汽车，缺少一些核心部件，就无法实现他的功能，比如轮子，方向盘、发动机，等等。
在处理人工智能问题时，同样需要重点关注这个基本原则，这个原则提醒我们，很多时候可能我们离成功只差一步，我们可能还缺少一个关键部件，比如，有了自稀疏编码器、有了层次化结构模型、但缺少attetion machanism，即注意力机制，可能也会无法实现我们想要的智能，从另一个角度，很多东西可能又不是必要的，比如神经支撑物、蛋白质、血液。 Read more
近期，Google Deep Mind团队提出了一个机器学习模型，并起了一个特别高大上的名字：神经网络图灵机，我为大家翻译了这篇文章，翻译得不是特别好，有些语句没读明白，欢迎大家批评指正 🙂
原论文出处：http://arxiv.org/pdf/1410.5401v1.pdf。
版权所有，禁止转载。
Alex Graves gravesa@google.com
Greg Wayne gregwayne@google.com
Ivo Danihelka danihelka@google.com
Google DeepMind, London, UK