一个基于jupyter notebook的pytorch的简单入门教程，更多的参见：https://github.com/vaxin/nnbeginer
关于数据
Yoshua Bengio访谈笔记：用意识先验糅合符号主义与联结主义
本文转载自机器之心 作者：邱陆陆。
这篇文章极好地阐释了AI先驱们对通用智能的理解，Bengio不愧为一代大师。感谢机器之心如此专业的分享，也感谢Bengio引领我们走向正确的方向，他所提到的几件重要的事情都体现了他对人类智能深刻的理解。1. 世界模型。无意识状态中存储了海量的关于世界的知识、关系、信息，智能始终基于对世界的理解来进行推理预测。 2. 符号化，我称之为离散化或完形化，从复杂感知数据，海量特征中涌现单一整体的过程，是联结主义和符号主义的桥梁，由于离散化的存在，连续的变化的数据才变成了单一、离散的表征，我们才能进行程序化的计算、推理，这也是我下一个要提到的图灵机制的关键所在。3. 图灵机制。Bengio所提的意识State恰恰说明他意识到了大脑中图灵机制的存在，意识State就是运行时的世界模型，从记忆中提取的世界知识，借助感知数据，我们在意识活动（注意和工作记忆）下建立运行时的世界模型，并进行推演从而做出准确的预测。正因为有了这样的理解，我们才能够自信地认为BERT的基于概率的方向是存在明显问题的，至少他不是人脑运作的方式。我们应该结合神经网络的海量表征潜在常识与自然语言的数据，共同来筑建运行时模型，才能做出最准确的对语言的理解，才能进行推理和解决问题。对此Bengio非常谦虚地表示，在这个框架下未来将有很多工作要做，是一种非常务实的心态，如何训练出我们想要的海量无法用言语来形容的，对意识层面或者完形、离散化有益的表征，将是下一步研究课题。
对表征（representation）空间的依赖贯穿计算机科学乃至日常生活的始终。在计算机科学中，如果数据有精当的结构，辅以智能化的索引，那么搜索任务的速度可以指数级加快；对于人来说，计算『 210 除以 6 等于几？』是容易的，计算『 CCX 除以 VI 等于几？』则需要更多时间。表征空间的选择对机器学习算法的性能影响，由此可见一斑。」《深度学习》[1] 一书如是评价表征的重要性。 Read more
完形与世界模型
本文主要探讨完形与世界模型的关系。
格式塔心理学引入了心理学的动力学视角，启发我们从一个全新的角度看待世界模型的构建，自我、感官、旧脑等综合作用下会产生不同的行为环境的内容。
考卡夫向我们展示了一系列实验，表明人在解构感知信息时会倾向于简单性、相似性、闭合性等一系列完形原则，虽然其大作《格式塔心理学原理》中并未探讨成因，但在生理-心理联合框架上下足了理论功夫。 Read more
ICPS 2015上认知语言学之父George Lakoff的演讲全文
如果全部读完，基本算是一门脑科学、心理学、神经科学入门指引课。视频地址：https://www.youtube.com/watch?v=WuUnMCq-ARQ
Most thought is unconscious, and the usual estimate is around 98 percent. But if you believe the work that Stan Dehaene talked about the other night, it is more than 98 percent. Consciousness is the tip of the iceberg of thought. It is there that things are put together in an interesting way and the interesting way is the following, that before consciousness, what happens is that your brain unconsciously changes what you perceive or what you think. This is something remarkable. I think one of the best papers I heard on this was by Shin Shimojo who is a vision scientist at the Caltech. He came to Berkeley a couple of months ago and gave a truly remarkable overview of experiments that showed this, many of them which were his. Let me give you a sense of this. Suppose you know that if there are flashing lights and they are going along and they are going fast enough, they look like a single stream. Read more
Tensorflow数据读取指南
tensorflow的灵活性带来的学习成本是很多人头疼的问题，在tf中，读取数据基本有四种方法：
1. tf.data （官方推荐）：方便地构建复杂的输入管道
2. Feeding：通过input_fn来yield数据
3. QueueRunner：基于队列的输入管道
4. 预加载数据。用constant或variable在内存中存储所有的数据
Read more
机器学习课程大纲推荐
这个是幂次学院的机器学习课程大纲，非常适合自学者给自己做参考用。注意这个不是深度学习为主的课程，机器学习的传统理论就满满一大筐了。
第一部分 基础篇
第1章 初识机器学习
1.1 引言
1.2 基本术语
1.3 假设空间
1.4 归纳偏好
1.5 发展历程
1.6 应用现状
The Development of Movement – Stages
By Dr Emmi Pikler
An excerpt PEACEFUL BABIES – CONTENTED MOTHERS (published in 1940),
taken from the Sensory Awareness Foundation publication BULLETIN (Number 14/Winter 1994).
Children, particularly in cities, tend to sit poorly and have bad posture. They cannot sit, stand or walk properly, not to mention more complicated movements.
This, of course, is not self-evident to every reader. I can hear the astonished responses: “What? My children can’t move?!” “My little daughter could already sit when she was just four months old” “Mine was already standing at six months”… “When my son was not even one year old, he was walking.”
Read more
世界模型 World Models部分翻译
本文对论文《world Models》的前半部分进行了翻译，看过前半部分基本就了解结构了，我个人认为Schmidhuber还是一如既往地喜欢把小东西往宏大了说，当然也多亏了他起的题目，很多人对世界模型产生了浓厚的兴趣。但本文的确不能说在世界模型方面有了飞跃的进步，只是将隐变量配合LSTM当作了世界模型，所以我不打算翻译后半部分了。虽然现在大家对于时序问题还没有太好的办法，很多时候不得不靠LSTM，但LSTM绝对不是未来。
世界模型 World Models
David Ha, Jurgen Schmidhuber
摘要
我们研究在流行的强化学习环境中构建生成神经网络。以监督的方式可以快速训练我们的世界模型学会环境的压缩空间和时间表征。将从世界模型中抽取的特征作为智能体的输入，我们能训练出一个非常紧凑简单的指定任务解决策略。我们也能训练智能体完全沉浸在自己的幻觉中基于它的世界模型做梦，并将策略迁移回实际环境中。
生成查询网络（GQN）的论文翻译——场景的神经表征与渲染 Neural scene representation and rendering
本文对Deepmind最新成果GQN论文的主要部分进行了翻译
场景的神经表征与渲染 Neural scene representation and rendering
S. M. Ali Eslami, Danilo Jimenez Rezende, Frederic Besse, Fabio Viola,
Ari S. Morcos, Marta Garnelo, Avraham Ruderman, Andrei A. Rusu, Ivo Danihelka,
Karol Gregor, David P. Reichert, Lars Buesing, Theophane Weber, Oriol Vinyals,
Dan Rosenbaum, Neil Rabinowitz, Helen King, Chloe Hillier, Matt Botvinick,
Daan Wierstra, Koray Kavukcuoglu, Demis Hassabis
摘要
场景表征——将视觉感受数据转换成简要描述的过程——是智能行为的一个基础。近来的研究表明，当提供足够大的标签数据时，神经网络在此方面表现优越。然而如何避免对标签的依赖依然是个开放性问题。鉴于此，我们开发了产生式查询网络（Generative Query Network, GQN），在该框架内机器可以只依赖自己的感受器来学习表征。GQN接受从不同视角拍摄的场景图片作为输入，构建内部表征并使用该表征来预测从未观察过的视角的场景图像。GQN做到了不依赖标签或领域知识的表征学习，向机器自动学习理解世界又迈进了一步。