tensorflow的灵活性带来的学习成本是很多人头疼的问题，在tf中，读取数据基本有四种方法：
1. tf.data （官方推荐）：方便地构建复杂的输入管道
2. Feeding：通过input_fn来yield数据
3. QueueRunner：基于队列的输入管道
4. 预加载数据。用constant或variable在内存中存储所有的数据
Read more
机器学习课程大纲推荐
这个是幂次学院的机器学习课程大纲，非常适合自学者给自己做参考用。注意这个不是深度学习为主的课程，机器学习的传统理论就满满一大筐了。
第一部分 基础篇
第1章 初识机器学习
1.1 引言
1.2 基本术语
1.3 假设空间
1.4 归纳偏好
1.5 发展历程
1.6 应用现状
The Development of Movement – Stages
By Dr Emmi Pikler
An excerpt PEACEFUL BABIES – CONTENTED MOTHERS (published in 1940),
taken from the Sensory Awareness Foundation publication BULLETIN (Number 14/Winter 1994).
Children, particularly in cities, tend to sit poorly and have bad posture. They cannot sit, stand or walk properly, not to mention more complicated movements.
This, of course, is not self-evident to every reader. I can hear the astonished responses: “What? My children can’t move?!” “My little daughter could already sit when she was just four months old” “Mine was already standing at six months”… “When my son was not even one year old, he was walking.”
Read more
通用智能技术民科的未来（一）
讨论建立在刚具备初步的通用智能框架理论指导，也有可能是民科水平，没有实践检验，没有发表任何重量级论文的情况下，如何选择未来的问题。
如何是一个高水平的学者，可以选择职场道路或学术生涯，通过通用智能框架的理论指导，发表若干篇高水平的论文，可以获得巨头的青睐，拿到不菲的薪水，还会有无数的创投机会。
但如果是一个民科，美名其曰独立研究者，连篇像样的论文都没有，几乎是不会被主流所接收的，我们姑且认为其具有基本的科学素养，所谓的通用智能框架有一定的价值，放在靠谱的人手里，可以做出不错的前沿产品。
通用智能技术民科的未来（二）
本节主要梳理中华人民共和国职业分类大典和人类技能划分，讨论哪个基础专用智能模块的价值最大，覆盖面最广。
从大类上来看，未来可替代性而言。
| 大 类 | 中类 | 小类 | （细类）职业 | 新职业 | 可替代性 |
| 第一大类：国家机关、党群组织、企业、事业单位负责人 | 5 | 16 | 25+0 | 0 | 无法替代，辅助增强 |
| 第二大类：专业技术人员 | 14 | 115 | 379+21 | 42 | 全部替代，全面升级 |
| 第三大类：办事人员和有关人员 | 4 | 12 | 45+1 | 10 | 部分替代 |
| 第四大类：商业、服务业人员 | 8 | 43 | 147+22 | 41 | 全部替代 |
| 第五大类：农、林、牧、渔、水利业生产人员 | 6 | 30 | 121+8 | 9 | 全部替代，全面升级 |
| 第六大类：生产、运输设备操作人员及有关人员 | 27 | 195 | 1119+22 | 5 | 全部替代，全面增强 |
| 第七大类：军人 | 1 | 1 | 1+0 | 0 | 部分替代，辅助增强 |
| 第八大类：不便分类的的其他从业人员 | 1 | 1 | 1+0 | 0 | 未知 |
深入分析各类职业，你会发现，现阶段进入全面替代是十分困难的，我们必须遵循从易到难的思路，先从部分替代或工作减轻入手，逐步完成全部替代，这既是科学的演进路线，也可以避免一口吃个胖子的冒进风险。
世界模型 World Models部分翻译
本文对论文《world Models》的前半部分进行了翻译，看过前半部分基本就了解结构了，我个人认为Schmidhuber还是一如既往地喜欢把小东西往宏大了说，当然也多亏了他起的题目，很多人对世界模型产生了浓厚的兴趣。但本文的确不能说在世界模型方面有了飞跃的进步，只是将隐变量配合LSTM当作了世界模型，所以我不打算翻译后半部分了。虽然现在大家对于时序问题还没有太好的办法，很多时候不得不靠LSTM，但LSTM绝对不是未来。
世界模型 World Models
David Ha, Jurgen Schmidhuber
摘要
我们研究在流行的强化学习环境中构建生成神经网络。以监督的方式可以快速训练我们的世界模型学会环境的压缩空间和时间表征。将从世界模型中抽取的特征作为智能体的输入，我们能训练出一个非常紧凑简单的指定任务解决策略。我们也能训练智能体完全沉浸在自己的幻觉中基于它的世界模型做梦，并将策略迁移回实际环境中。
生成查询网络（GQN）的论文翻译——场景的神经表征与渲染 Neural scene representation and rendering
本文对Deepmind最新成果GQN论文的主要部分进行了翻译
场景的神经表征与渲染 Neural scene representation and rendering
S. M. Ali Eslami, Danilo Jimenez Rezende, Frederic Besse, Fabio Viola,
Ari S. Morcos, Marta Garnelo, Avraham Ruderman, Andrei A. Rusu, Ivo Danihelka,
Karol Gregor, David P. Reichert, Lars Buesing, Theophane Weber, Oriol Vinyals,
Dan Rosenbaum, Neil Rabinowitz, Helen King, Chloe Hillier, Matt Botvinick,
Daan Wierstra, Koray Kavukcuoglu, Demis Hassabis
摘要
场景表征——将视觉感受数据转换成简要描述的过程——是智能行为的一个基础。近来的研究表明，当提供足够大的标签数据时，神经网络在此方面表现优越。然而如何避免对标签的依赖依然是个开放性问题。鉴于此，我们开发了产生式查询网络（Generative Query Network, GQN），在该框架内机器可以只依赖自己的感受器来学习表征。GQN接受从不同视角拍摄的场景图片作为输入，构建内部表征并使用该表征来预测从未观察过的视角的场景图像。GQN做到了不依赖标签或领域知识的表征学习，向机器自动学习理解世界又迈进了一步。
通用智能的一些重要概念
本文粗浅地讨论我对一些重要概念的理解：记忆 理解 概念 特征世界 识别 比较 归纳 预测 激励 推理 视觉推理 陌生事物 新鲜感 发现异常 生成网络 尝试 想象 动机 目标驱动 脑中图灵机 盲源分离 目标达成 世界模型 回忆 注意力 感知 判断 感觉世界feeling
记忆（Memory）——有很多子类型，比如短时记忆、长时记忆，情景记忆、陈述性记忆、程序性记忆等等，不一而足，记忆直接对应着连接关系与其权重，将0也看成权重的话，本质是权重对外界影响的落实。比如一个场景，连续的感觉输入包括相关概念的唤醒，也包括时间性感觉和概念，时间性的记忆由前后关系型连接建立，发生的事物、以及事物的空间和时间关系都影响着大量连接的权重，尤其是一过性场景能形成长期记忆，可能以来脑中的回放机制来加强记忆。短时记忆机制的已逝性和与长时记忆的可塑性，说明权重变化既是敏感的也是可加强的，有可能不同特性的连接用于不同的功能，有些连接比较迟钝，权重落实慢，需要反复刺激，有些权重落实快，增加快降低也快，可塑性太强，反复变化，不便于长期记忆。说到记忆，往往指的是我们意识能感知到的知识、概念、生活经历等等，但实际上类似于感觉初级皮层的功能形成与意识可感知的记忆形成本质都是权重落实问题。只是大脑很难意识到初级皮层的感念，初级皮层的权重形成也是倾向于统计上的落实。而记忆更倾向于一次性的权重落实，和反复单一刺激强调的权重落实。所以无论是情景记忆、程序性记忆，还是陈述性记忆，都是不同类型的输入建立关联的过程而已。回想是记忆落实和加强的重要手段，例如恐怖性经历会刺激本能反复回想该记忆，从而会终身难忘。难忘的记忆征用了较多的记忆资源，并且时常回放进行巩固，轻描淡写的记忆动用了较少的记忆资源，又很少回想，这些记忆资源慢慢被其他记忆所替代。 Read more
智能时代与互联网时代创业差异
智能时代得创业窗口期将变短，超级公司诞生得可能性巨大，但在通用智能技术达到临界点之前，一定程度上的领域细分依然是人工智能创业的主旋律，超过临界点之后，大多数竞争者将被淘汰，且越甩越远。
互联网时代还难以进入寡头垄断，整个三十年的创业期内各类互联网公司风起云涌，主要的原因是数据的产生和数据的结构化是个体力活，很多公司仅仅凭借数据生成（算法生成和人工生成）和数据结构化就能活得滋润，更不要说建立在数据之上的算法积累了，领先优势更巩固了互联网垂直创业者在各自行业得地位。
智能创业得变革机会要比互联网更多，因为不是所有得行业都需要互联网化，但所有得行业都会面临智能化，两者已经不是一个量级。
智能化的路径是专用向通用演变的过程，也是从众多垂直创业者向一家独大演变的过程。谁得到更通用的智能技术，谁就得到更进阶的密匙。
仅有互联网无法实现共产主义，只有人工智能才能实现终极生产力。
股票、期权、合伙人和员工
他到底是合伙人还是员工？
这是不同的概念，合伙人分的是股份，员工理论上只分期权，所以这个事件的本质是双方的角色分歧，CEO把他当员工看，他把自己当合伙人，而这个角色应该在创业开始时就应该说清楚。
如果你创业想找一个人给你出技术，那么你要分清楚一件事儿，你是让他帮你熬过创业初期还是持续管理公司，前者决定你必须找一个员工，后者才决定你找一个合伙人，合伙人分的是股份，这个股份的价值在于长期性的认可，直接给股份是十分高风险的事情，很多创始人耍机灵，开始时玩模糊战略，等过了两年看清楚了，再决定你的角色问题，就会出现分歧和纠纷。
期权和限制性股权的性质比较相似，都是依赖过去贡献的股权授予机制，是一种按劳分配对抗不确定性的优良机制，所以适用于公司的大部分员工，用于奖励员工过去的努力，注意到没有，这个事件里面就有一段话在讲这个问题，你过去的努力，我已经给我你分红，未来的得看你的表现，这就是对待员工的态度，如果你合伙人，是创始股东，大家就是兄弟，要坐在一起商量，性质是截然不同的，就算你已经不在公司了，你依然是股东，你依然可以享受公司的分红，就像上市公司的大众股东，谁也不同跑去给公司打工，不照样可以享受分红？这就是股权的威力，股权决定了你对公司的拥有权比例而且不用打工就可以获取相应收益的权利。
说到这里，顺便提一下代持，一种对普通员工分配具有无投票性质的股权的办法，这样既保持了管理层的控制力，也保证了大家的努力得到的应当的现金收益。
那么实际上还是有第三种人存在的，比如职业经理人，他既不是创始股东和创始团队的成员，但又是公司重要的管理团队成员，其实是半员工半合伙人性质，这样的人，一般情况下，可能会授予一定的股权，再授予一定的期权，给股权代表着我请你来，是把你当朋友，当兄弟，一起奋斗，给期权，代表着，我还是不是完全信任你，你还要通过表现拿剩下的部分。
但无论是怎样的角色定位，作为创始人都应该在决定与一个人一起共事时，就应该把这个事情理清楚，说清楚，期权是应对概率问题的重要手段，当你对对方的确心有顾忌的时候，就应该明确的说出来，对不起，我不能直接给你股权，我只能给你期权，有部分信任的时候，可以说，我可以给你1%的股权，剩下4%必须是期权，等等。
打马虎眼藏心眼的行为是不负责任的，严重的话就是诈骗。
所以总的来说，创始人首先应该理清楚目标人物的角色和不确定性问题，这样才能结合时间维度、贡献维度和控制维度，组合生成相应的股权期权方案。