AI背后的圣典与巧合

我爱免费

作者：学霸Jolin聊成长
关注“学霸Jolin聊成长”公众号，收看更多好文

AI背后的圣典与巧合

大家都知道现在的人工智能很厉害，但是很少有人知道它为什么这么厉害。主要是技术太高深，大部分人讲不明白，讲了大家也听不懂。今天这篇文章你一定能读懂。

如果说现代人工智能有一份圣经式的宝典，那一定就是谷歌2017年发布的研究论文（Attention Is All You Need》，翻译过来就是《你需要的只是注意力》。



这篇论文介绍了一种被称为“Transformer"的新型深度学习架构。Transformer在过去五年里彻底改变了人工智能领域。首先，ChatGPT里面的T指的就是这个Transformer。不仅如此，目前席卷全球的人工智能热潮都可以直接追溯到transformer的发明，几乎所有你听到的大语言模型AI模型和产品，除了ChatGPT、GPT-4、谷歌的Bard、微软的Bing，还有文生图的工具Midjourney、Stable Diffusion，以及前不久火热的文生视频SORA，以及当今最先进的机器人，等等都是使用transformer构建的。



而transformer是谷歌的技术团队发明并开源的，结果却被OpenAI捷足先登开创了ChatGPT时代，现在反过来让谷歌背腹受敌，科技圈的你追我逐真的是瞬息万变。

那么话说回来，Transformer究竟为何能给人工智能带来如此巨大的突破？

在《你需要的只是注意力》这篇论文发表之前，语言人工智能领域最先进的技术是一种被称为递归神经网络（RNN）的深度学习架构。顾名思义，RNN是按顺序处理数据的，即按照单词出现的顺序一次处理一个单词。



但一个序列里面单词之间重要的关系不一定是按顺序紧挨着出现的，有时候重要的关系反而存在于两个距离很远的单词之间。于是一种被称“Attention”注意力的机制就变得流行起来。

简单来说，“Attention”注意力机制使模型能够考虑单词之间的关系，确定段落中哪些单词和短语最值得"关注”，而不管它们相距多远。

在transformer这篇宝典论文发表之前，研究人员只将Attention作为RNN架构的附加组件。而谷歌这篇论文的一大飞跃是完全摒弃了原来的递归模型，完全依靠Attention来进行语言建模，这就是那篇文章的标题为什么叫《你需要的只是Attention》。

关于这篇论文，还有一个有趣却鲜为人知的事实：据论文合著者利昂·琼斯说，它的标题是对披头士乐队的歌曲《你需要的只是爱》（All You Need is Love）的致敬。

我们继续说算法，下面的更精彩。transformer的根本创新是实现了语言处理的并行化，它可以同时分析文本中的所有单词，而不是按顺序分析，于是它可以在更大的数据集上进行并行训练了。这个算法的并行架构好巧不巧，就和AI背后的另一个神器不谋而合了。那个神器是什么呢？没错，就是英伟达公司的GPU芯片。



众所周知，英伟达公司的GPU芯片最大的优势就是高效的大规模的并行计算。于是transformer算法的并行架构和英伟达GPU的并行计算就这么完美地契合了！正是这种历史巧合一般的完美契合产生的巨大优势不仅开创了生成式人工智能的时代，也成就了GPU生产商英伟达一跃跻身万亿美元市值的行业，让英伟达AI时代的最大军火商。



大家听到这里有什么感想，我想到的是时势造英雄，不得不说，历史进程的推动有必然的因素，也有偶尔的因素。这也是为什么乔布斯说的人有时候得有信念，冥冥中要相信会有好事发生。无论是Transformer算法也好，英伟达的GPU算力芯片也好，他们都曾经默默无闻了很多年。Transformer 发表之初并没有引起很多人的关注，那时候是2017 年，哪怕是该领域那群最聪明的那群人也很少有人能够预测到今天AI大语言模型革命性的威力。而英伟达公司更是经历了九死一生，据说英伟达创始人黄仁勋的一句口头禅就是“我们离破产还有不到30天。”。但是就是在信念的支撑下，他们并未放弃努力，当历史的契机出现的时候，奇迹也就出现了。

信念下面的支撑是什么呢？除了视野和前瞻性，我觉得还有不急功近利，要有一些冒险精神，要愿意去面对不确定性，需要耐心，韧性和不畏惧失败，当然也需要环境对失败的包容。就像黄仁勋所说，他年轻的时候连厕所都洗过，他没有什么好怕的。

而反观我们现在的创业者，企业家，我们的教育，我们的环境，追求的都是确定的东西，都是想要有看得见摸得着的结果，而我们面临的是万一失败了就会被周围人的唾沫淹死的环境，是会被永远拿来各种横向比较，指责，批判的环境。那么当历史机遇来临的时候，又怎么能抓得住呢！那我们未来孩子教育的方向是不是也应该要有所改变呢？
我是Jolin，和你分享不一样的学霸思维！点击头像关注我，和你分享世界前沿的科技与教育！也欢迎预约我4月21日的直播，Jolin与你一起聊国内外教育。



-END-

这是我以上原创内容视频号
请点赞/转发为我加油关注我，关注个人成长/孩子教育/前沿科技