在那篇论文发表之前,我在谷歌的团队已经对注意力模型进行了多年的研究。这是一条漫长且充满挑战的道路,涉及大量的研究工作,不仅限于我的团队,还有许多其他研究者也在这一领域耕耘。我们对注意力模型寄予厚望,认为它能够从技术层面推动整个领域的发展。但是, 当我们谈到它能否真正促进像 ChatGPT 这样的产品诞生时,至少从表面上看,我们并没有完全预见到这一点。
今年的ICML会议上,彩云科技团队的3篇论文,在录用平均分为4.25-6.33的情况下,获得平均7分的高分,并成为国内唯二受邀参加维也纳ICML 2024登台演讲的企业,另一家则是华为。