Meta首次尝试推出的AI项目并未取得显著进展。2022年11月，FAIR发布了名为Galactica的聊天机器人，它基于大语言模型构建，并接受了科学文本的训练。与以往的FAIR模型一样，Galactica也是以开源形式发布的，旨在让研究人员深入了解 ...

除了人类评审员，VibeCheck还调用了GPT-4o mini来评价不同大模型的回复，结果发现与人类的评估结果相符。也就是说，GPT-4o mini也能发现上述人类评审员总结的细微差异。

众所周知，近期发布的 OpenAI o1 在数学、 代码、长程规划等问题上取得了显著提升，而背后的成功离不开后训练阶段强化学习训练和推理阶段思考计算量的增大。基于此，有人认为，新的扩展律 —— 后训练扩展律（Post-Training Scaling ...

Hello folks，我是 Luga，今天我们来聊一下 LLM（大型语言模型） 生态相关技术：Meta Llama 3.1，一个被称为世界上最大、最有能力、最先进的开源人工智能模型。     2024年，对于人工智能领域来说可谓意义非凡。继 ...

Meta 副总裁 John Hegeman 向外媒表示，全球风靡的 AI 热潮为企业商业部门带来了重要机遇，人们可以使用 AI 提高效率和改善客户体验，由史宗玮领导的人工智能商业部门团队将进一步 Llama 模型应用，协助 Meta 实现这一愿景。

RoPE-2D：在自注意层中用相对旋转位置编码代替传统的绝对位置嵌入。虽然必须对学习到的位置嵌入进行插值以处理新的图像大小（通常以牺牲性能为代价），但相对位置编码自然而然地适合可变的图像大小。

在人工智能技术飞速发展的今天，强化学习与数学推理的结合正展现出无限潜力。近日，上海AI Lab团队推出的LLaMA-O1项目引起了广泛关注，这是一个基于AlphaGo Zero范式的开源强化学习模型，旨在通过自我对弈与蒙特卡洛树搜索的结合，提升AI系统在解决复杂数学问题方面的能力。该项目于2024年10月底开源，标志着AI研究迈出了重要一步。

据介绍，研究人员一共为 Llama 3.2 的 1B 和 3B 模型各推出了两款量化版本，分别为 Llama 3.2 1B QLoRA、Llama 3.2 1B SpinQuant、Llama 3.2 3B QLoRA 和 Llama 3.2 3B SpinQuant。

在人工智能的快速发展中，最近一项激动人心的成果浮出水面——LLaMA-O1的发布。这款复刻自OpenAIo1推理大模型的开源项目，来自上海人工智能实验室（AILab），采用了强化学习的全新代码架构。这一项目不仅吸引了广泛关注，还为大规模人工智能模型的数学推理能力的提升提供了新的思路和资源。