这篇开创性的论文介绍了基于Transformer的深度学习架构。Transformer彻底改变了自然语言处理（NLP）领域，它的自注意力机制也被广泛应用于计算机视觉等其他领域，并对AI研究产生了深远影响，成为了AI发展史上的一个里程碑。截至今天，这篇 ...

在人工智能技术迅速发展的今天，变革性的机器人理论也在不断推陈出新。特别是，Transformer模型的引入为机器人与人工智能的结合带来了全新的可能性。自2017年Google提出"Attention Is All You Need"的Transformer架构以来，其在语言翻译、图像识别等领域的表现使得该技术迅速成为研究焦点。如今，结合机器人技术的Transformer既提升了机器人的智能计算能力 ...

今年的ICML会议上，彩云科技团队的3篇论文，在录用平均分为4.25-6.33的情况下，获得平均7分的高分，并成为国内唯二受邀参加维也纳ICML 2024登台演讲的企业，另一家则是华为。

在那篇论文发表之前，我在谷歌的团队已经对注意力模型进行了多年的研究。这是一条漫长且充满挑战的道路，涉及大量的研究工作，不仅限于我的团队，还有许多其他研究者也在这一领域耕耘。我们对注意力模型寄予厚望，认为它能够从技术层面推动整个领域的发展。但是， 当我们谈到它能否真正促进像 ChatGPT 这样的产品诞生时，至少从表面上看，我们并没有完全预见到这一点。

云锦天章正是彩云科技基于DCFormer训练而成的一个7B量级的通用大模型。从理论推导到真正推出一个可被大众使用的通用模型，袁行远认为，这是逐渐去证明DCFormer是更有效率模型架构的一种方式。

11月13日，彩云科技在北京总部与媒体进行一场主题为“From Paper to App”的沟通会。会上，彩云科技CEO袁行远，就通用大模型未来进化之路，与人工智能的落地场景等热点话题进行了交流，并正式推出了首款基于DCFormer架构开发的通用大模型云锦天章，与此同时，彩云科技旗下AI RPG平台彩云小梦，也成为首款基于DCFormer架构开发的AI产品。

作为国内最早做LLM（大语言模型）的公司之一，彩云科技在2017年就已经开始做NLP和大模型方面的工作。目前，彩云科技旗下有彩云天气、彩云小梦、彩云小译三款面向C端用户的AI产品，是国内为数不多能够实现盈利的人工智能公司。

有网友还在线帮谢赛宁想标题：你这篇论文不如就叫「Representation is all you need」（手动狗头） 由于观点一致 ... 即使只对生成像素感兴趣（例如，使用扩散Transformer生成漂亮的图片），包含特征预测损失也是值得的，以便解码器的内部表示可以基于预训练的 ...

实际上Character.AI早就发现仅靠现有数量的订阅用户，远远不足以支撑公司的正常运营。虽然其用户平均每天用户活跃度高达2小时，但在600万月活用户中，付费用户只有近10万人，据此推算其在2024年最多能获得不到1700万美元的收入。问题也许出在 ...

新智元报道  编辑：LRS【新智元导读】一位AI从业者分享的14天学习路线图，涵盖大模型从基础到高级的主要关键概念！无论是面试找工作、还是自学创业，甚至想要在圈子内讨论一下AGI的潜力，但凡想要深度参与到AI浪潮中，不可避免的就是学习大型语言模型（L ...

本文讲述了大语言模型LLM的基本原理以及应用，仅供参考。 最近在做一些基于LLM（Large Language Models）的项目，计划系统化的梳理一个LLM系列文章，整个大纲，大概包括以下内容： 1、大语言模型：LLM的基本原理解读 2、如何将LLM应用到实际的业务中 3、基于LLM构建应用程序：设计指南 4、LLM的高阶应用：提示工程 5、LLM的高阶应用：插件的使用 6、LLM的高阶应用： ...