今年的ICML会议上，彩云科技团队的3篇论文，在录用平均分为4.25-6.33的情况下，获得平均7分的高分，并成为国内唯二受邀参加维也纳ICML 2024登台演讲的企业，另一家则是华为。

为了解决这个问题，研究者们尝试了稀疏注意力机制和上下文压缩技术，但这些方法往往以牺牲性能为代价，可能会导致关键信息的丢失。 谷歌的研究人员提出了一种名为选择性注意力的新方法，这种方法可以动态忽略不再相关的标记，从而提高Transformer模型的效率 ...

随着人工智能技术的不断进步，深度学习中的Transformers和大型语言模型(LLMs)正引领着这一领域的变革。2024年春季，斯坦福大学推出的CS25课程将深入探索这些技术的内在机制与应用前景，为希望了解这一领域的学习者提供了重要契机。 CS25课程的核心内容涵盖了Transformers的基本原理及其在自然语言处理(NLP)中的广泛应用。Transformers模型最早在2017年的《Att ...

阿里妹导读笔者结合实践经验以近期在负责的复杂表格智能问答为切入点，结合大模型的哲学三问（“是谁、从哪里来、到哪里去”），穿插阐述自己对大模型的一些理解与判断，以及面向公共云LLM的建设模式思考，并分享软件设计+模型算法结合的一些研发实践经验。一、前言2022年11月，ChatGPT平地一声雷，开启了“大模型+”时代， ...

PIVOT-R 通过引入原语动作驱动的路径点感知，显著提升了机器人在复杂操控任务中的性能。该模型不仅在执行效率上具备优势，还能够更好地应对复杂、多变的环境。该方法在仿真环境和真实环境操纵下表现优异，为机器人学习提供了一个新范式。

研究机构Counter Points的数据显示，未来AIoT模块的计算能力将实现指数级的大幅增长。据测算，未来七年内配备神经网络处理单元NPU的模块数量将达到目前的31倍，这将催生大量创新应用的涌现。

近年来，随着人工智能（AI）技术的迅猛发展，Transformer架构逐渐成为自然语言处理（NLP）和大型语言模型（LLM）领域的主流。但是，最近由MIT计算机 ...

人工智能、机器学习与深度学习作为当今科技发展的核心力量，已经在多个领域取得了显著的进展。从广义的人工智能到更加具体的机器学习，再到深度学习的细致应用，这些技术层层递进，相互补充，共同推动了人类在数据处理、自动化和智能决策方面的能力。

本文讲述了大语言模型LLM的基本原理以及应用，仅供参考。 最近在做一些基于LLM（Large Language Models）的项目，计划系统化的梳理一个LLM系列文章，整个大纲，大概包括以下内容： 1、大语言模型：LLM的基本原理解读 2、如何将LLM应用到实际的业务中 3、基于LLM构建应用程序：设计指南 4、LLM的高阶应用：提示工程 5、LLM的高阶应用：插件的使用 6、LLM的高阶应用： ...

Transformer 是一种革命性的神经网络架构，由谷歌在 2017 年提出，主要用于处理序列数据，特别是在自然语言处理（NLP）领域。 Transformer 的核心是自 ...

腾讯混元 Large 模型专项提升的长文能力已经应用到腾讯 AI 助手腾讯元宝上，最大支持 256K 上下文，相当于一本《三国演义》或英文原版的《哈利・波特》全集的长度，可以一次性处理上传最多 10 ...

2024年11月11日，根据多家媒体报道，月之暗面（Moonshot AI）创始人杨植麟及联合创始人兼首席技术官张宇韬，被其早期创业公司循环智能的投资人在香港提起仲裁，相关电子仲裁申请书也已递交HKIAC（香港国际仲裁中心）。