如果全部读完，基本算是一门脑科学、心理学、神经科学入门指引课。视频地址：https://www.youtube.com/watch?v=WuUnMCq-ARQ

Most thought is unconscious, and the usual estimate is around 98 percent. But if you believe the work that Stan Dehaene talked about the other night, it is more than 98 percent. Consciousness is the tip of the iceberg of thought. It is there that things are put together in an interesting way and the interesting way is the following, that before consciousness, what happens is that your brain unconsciously changes what you perceive or what you think. This is something remarkable. I think one of the best papers I heard on this was by Shin Shimojo who is a vision scientist at the Caltech. He came to Berkeley a couple of months ago and gave a truly remarkable overview of experiments that showed this, many of them which were his. Let me give you a sense of this. Suppose you know that if there are flashing lights and they are going along and they are going fast enough, they look like a single stream. Read more

这个是幂次学院的机器学习课程大纲，非常适合自学者给自己做参考用。注意这个不是深度学习为主的课程，机器学习的传统理论就满满一大筐了。

第一部分 基础篇

第1章 初识机器学习
1.1 引言
1.2 基本术语
1.3 假设空间
1.4 归纳偏好
1.5 发展历程
1.6 应用现状

Read more

1. 神秘变量与数据集

现在有一个数据集DX(dataset, 也可以叫datapoints)，每个数据也称为数据点。
我们假定这个样本受某种神秘力量操控，但是我们也无从知道这些神秘力量是什么？那么我们假定这股神秘力量有n个，起名字叫\(power_1, power_2,…, power_n\)吧，他们的大小分别是\(z_1, z_2, …, z_n\)，称之为神秘变量表示成一个向量就是

z也起个名字叫神秘组合。

一言以蔽之：神秘变量代表了神秘力量的神秘组合关系。
用正经的话说就是：隐变量(latent variable)代表了隐因子(latent factor)的组合关系。 Read more

国内互联网上关于deeplearning.net上的Deep Learning Tutorial的翻译有很多，但很零散，并且没有人有效地把这些组织起来，本文对这些进行了整理，带有>前往的都是已经找到的对应的翻译文章，有些是我自己写的，其他一些还没有的，我会自己补充上。

前置阅读

Machine Learning for AI an introduction to Deep Learning algorithms

Learning Deep Architectures for AI (Foundations & Trends in Machine Learning, 2009).

Theano basic tutorial

正式教程

准备工作 – 它介绍了符号，本教程中使用的数据集（可下载），以及对随机梯度下降法所做的优化。 > 前往

纯监督学习算法，按顺序阅读：

1. Logistic Regression – 简单使用Theano > 前往
2. Multilayer perceptron – 介绍layer >前往
3. Deep Convolutional Network – LeNet5的简化版本 >前往

无监督和半监督学习算法，阅读顺序无要求：(自编码器与RBM/DBN议题相互独立):

• Auto Encoders, Denoising Autoencoders， 自编码器，去噪自编码器 – 自编码器描述 >前往
• Stacked Denoising Auto-Encoders，堆栈式自编码器 – 进行深度网络无监督预训练的简单步骤 >前往
• Restricted Boltzmann Machines，受限玻尔兹曼机 -单层生成式RBM模型
• Deep Belief Networks – 深度信念网络 -先进行栈式RBMs的无监督生成式预训练再进行有监督微调

面向mcRBM模型构建, 关于从能量模型采样的新教程:

• HMC Sampling，混合蒙特卡罗采样 -混合（又名汉密尔顿）蒙特卡洛采样 scan()

面向收缩自编码器的构建教程, 目前已经有了代码:

• Contractive auto-encoders code，收缩自编码器代码 – 代码中有基础文档

带有词语嵌入和上下文窗口的Recurrent neural networks

• Semantic Parsing of Speech using Recurrent Net

用于语义分析的LSTM:

• LSTM network

基于能量的recurrent neural network (RNN-RBM)

• Modeling and generating sequences of polyphonic music，和弦音乐序列的建模与生成