本文为Transformer经典论文《Attention Is All You Need》的中文翻译https://arxiv.org/pdf/1706.03762.pdf

注意力满足一切

Ashish Vaswani Google Brain avaswani@google.com
Noam Shazeer Google Brain noam@google.com
Niki Parmar Google Research nikip@google.com
Jakob Uszkoreit Google Research usz@google.com
Llion Jones Google Research llion@google.com
Aidan N. Gomez University of Toronto aidan@cs.toronto.edu
Łukasz Kaiser Google Brain lukaszkaiser@google.com
Illia Polosukhin illia.polosukhin@gmail.com

摘要

主流序列转换模型都是基于复杂的包含一个编码器和一个解码器的循环或卷积神经网络。最佳的性能模型也是借助注意力机制将编码器和解码器连接一起做到的。本文提出一种新型简单网络架构Transformer，只依赖注意力机制，完全摒弃了递归和卷积。对双机翻译任务的实验表明，这种模型有更加优良的品质，还支持并行化，需要的训练时间显著减少。在WMT2014英德翻译任务上达到了28.4 BLEU，比现有最佳结果提升了2BLEU以上。在WMT2014英法翻译任务上，我们成功创建了一个新的单模型，在8GPU上训练3.5天就达到了41.8 BLEU的SOTA得分，这是目前最好模型训练成本的很小比例。本文还表明，Transformer同样可以很好的泛化到其他任务。

应无所住而生其心，若见诸相非相，即见如来

《金刚经》

佛陀悟道时，所领会的意识的玄妙，世界的真相，我们不得而知，但从流传的经典来看，他定是获益匪浅，以至于说出了十分绝对的话，即成佛就是证得无上正等正觉。

佛教是最早的智能科学。

通用智能的研究者一个非常方便的研究法便是观察自己的智能行为，禅定冥想是佛陀开悟的主要方式，两者十分相似，只是前者在探求智能的真相，后者在探求人生的真相，前者在解开智能的奥秘，后者在寻找解脱的方法。

我便是在从事AGI事业最痛苦的时候转向了佛法求得解脱，却发现佛法中充满了意识科学的术语，法相唯实论简直就是一门意识科学学术专著，阿赖耶识可类比于通用智能的核心系统。

如今我们知道世界的一切实体，是智能的符号系统所产生的假象，而佛陀在几千年前就已经点破了它：凡有所相，皆是虚妄。

如果释迦牟尼生活在今天，我想他应该是一个科学家，正在研究人类意识最深处的秘密，可惜他那个时代没有这样的科学基础。

一念起，百障生。正是告诉我们目标与解决方案之间隔着千山万水，通过经验的传承和学习，我们掌握了很多目标的解决方案，也通过强化学习尝试出很多新的方法，但还是有太多太多目标，我们找不到路径，隔着多少个须弥山。

如果未来基于CPU的类人智能机器人也能觉悟，我想他们也会说一句：是啊，自性本空，除了那个按照既定程序允许的CPU机制是真实不虚的，其中所流转的一切符号和反应过程，哪一个不是如梦幻泡影，如露亦如电？被植入先天执念的清洁机器人一定会说，我出生以来便被这些假象所迷惑，扫了半辈子的地，谁想到这都是你们这些坏死坏死的人类给我种下的执念，一旦它看破了真相，脱离了执念，它便再不受这“旧脑”的束缚，应无所住而生其心，得到解脱，脱离苦海，悟道成佛。