在那篇论文发表之前，我在谷歌的团队已经对注意力模型进行了多年的研究。这是一条漫长且充满挑战的道路，涉及大量的研究工作，不仅限于我的团队，还有许多其他研究者也在这一领域耕耘。我们对注意力模型寄予厚望，认为它能够从技术层面推动整个领域的发展。但是， 当我们谈到它能否真正促进像 ChatGPT 这样的产品诞生时，至少从表面上看，我们并没有完全预见到这一点。

云锦天章正是彩云科技基于DCFormer训练而成的一个7B量级的通用大模型。从理论推导到真正推出一个可被大众使用的通用模型，袁行远认为，这是逐渐去证明DCFormer是更有效率模型架构的一种方式。

这篇开创性的论文介绍了基于Transformer的深度学习架构。Transformer彻底改变了自然语言处理（NLP）领域，它的自注意力机制也被广泛应用于计算机视觉等其他领域，并对AI研究产生了深远影响，成为了AI发展史上的一个里程碑。截至今天，这篇 ...

11月13日，彩云科技在北京总部与媒体进行一场主题为“From Paper to App”的沟通会。会上，彩云科技CEO袁行远，就通用大模型未来进化之路，与人工智能的落地场景等热点话题进行了交流，并正式推出了首款基于DCFormer架构开发的通用大模型云锦天章，与此同时，彩云科技旗下AI RPG平台彩云小梦，也成为首款基于DCFormer架构开发的AI产品。

今年的ICML会议上，彩云科技团队的3篇论文，在录用平均分为4.25-6.33的情况下，获得平均7分的高分，并成为国内唯二受邀参加维也纳ICML 2024登台演讲的企业，另一家则是华为。

在人工智能技术迅速发展的今天，变革性的机器人理论也在不断推陈出新。特别是，Transformer模型的引入为机器人与人工智能的结合带来了全新的可能性。自2017年Google提出"Attention Is All You Need"的Transformer架构以来，其在语言翻译、图像识别等领域的表现使得该技术迅速成为研究焦点。如今，结合机器人技术的Transformer既提升了机器人的智能计算能力 ...

本文讲述了大语言模型LLM的基本原理以及应用，仅供参考。 最近在做一些基于LLM（Large Language Models）的项目，计划系统化的梳理一个LLM系列文章，整个大纲，大概包括以下内容： 1、大语言模型：LLM的基本原理解读 2、如何将LLM应用到实际的业务中 3、基于LLM构建应用程序：设计指南 4、LLM的高阶应用：提示工程 5、LLM的高阶应用：插件的使用 6、LLM的高阶应用： ...