这篇开创性的论文介绍了基于Transformer的深度学习架构。Transformer彻底改变了自然语言处理（NLP）领域，它的自注意力机制也被广泛应用于计算机视觉等其他领域，并对AI研究产生了深远影响，成为了AI发展史上的一个里程碑。截至今天，这篇 ...

在那篇论文发表之前，我在谷歌的团队已经对注意力模型进行了多年的研究。这是一条漫长且充满挑战的道路，涉及大量的研究工作，不仅限于我的团队，还有许多其他研究者也在这一领域耕耘。我们对注意力模型寄予厚望，认为它能够从技术层面推动整个领域的发展。但是， 当我们谈到它能否真正促进像 ChatGPT 这样的产品诞生时，至少从表面上看，我们并没有完全预见到这一点。

今年的ICML会议上，彩云科技团队的3篇论文，在录用平均分为4.25-6.33的情况下，获得平均7分的高分，并成为国内唯二受邀参加维也纳ICML 2024登台演讲的企业，另一家则是华为。