有趣的是，昨天拱火的The Information，今天又急忙发出一篇文章来灭火。 他们强调，昨天的文章只是在说改进大模型必须找到新方法，并不是说Scaling Law已经终结。

换句话就是，对于大规模的训练任务，低精度的量化可能不再足够有效。 按照结论，对Scaling Law的遵循意味着我们需要保持更高精度，然而一直以来，人们通常会选择量化（将连续值或多精度值转换为较低精度）来节省计算资源。

Scaling Law并未失效，只是不再局限于参数规模的增加。MIT团队最新研究发现，测试时训练在Scaling大模型上，显现出突破性潜力，ARC公共基准测试中拿下61.9%成绩，媲美人类选手。

人工智能公司在训练新的大型语言模型时面临延迟和挑战 一些研究人员正在关注新模型中推理所需的更多时间 转变可能会影响人工智能资源竞争，例如芯片和能源 据路透社报道，像 OpenAI 这样的人工智能公司正在寻求克服在追求更大规模语言模型过程中出现的 ...

本文来自微信公众号：量子位，作者：一水，原文标题：《今日最热论文：Scaling Law后继乏力，量化也不管用，AI大佬齐刷刷附议》，题图来自：AI生成 几十万人关注，一发表即被行业大佬评为“这是很长时间以来最重要的论文”。 哈佛、斯坦福、MIT等团队的一项研究表明：训练的token越多，需要的精度就越高。 例如，Llama-3在不同数据量下（圆形8B、三角形70B、星星405B），随着数据集大小 ...

几十万人关注，一发表即被行业大佬评为“这是很长时间以来最重要的论文”。 哈佛、斯坦福、MIT等团队的一项研究表明：训练的token越多，需要的精度就越高。

ChatGPT发布将满两周年，预训练阶段的扩展定律（scaling law) 不够用了，算力电力瓶颈也让“暴力美学”的路越走越窄。AI与大模型迫切需要一种新范式。 现有前沿大模型在新基准下现出原形。Epoch ...

Sutskever提到的“预训练”阶段是指使用大量未标注数据训练AI模型，使其能够理解语言模式与结构。他谈道，这一阶段的性能增长已经趋于平缓，这意味着单靠增加计算力和数据量已不再足以推动重大突破。SSI正探索一种新的扩展方式，以期跳脱传统的规模扩展限 ...

类似的困境不止出现在 OpenAI，还有其他前沿实验室在这方面遇到更严重的问题。据数据科学家 Yam Peleg ...

随着参议员马尔科·卢比奥 (Marco Rubio)和众议员迈克·沃尔兹 (Mike Waltz) 预期将获内阁职位任命 ，美国当选总统唐纳德·特朗普 (Donald Trump)正在组建被一些对华鹰派人士称为强硬“梦之队”的团队。