有趣的是，昨天拱火的The Information，今天又急忙发出一篇文章来灭火。 他们强调，昨天的文章只是在说改进大模型必须找到新方法，并不是说Scaling Law已经终结。

换句话就是，对于大规模的训练任务，低精度的量化可能不再足够有效。 按照结论，对Scaling Law的遵循意味着我们需要保持更高精度，然而一直以来，人们通常会选择量化（将连续值或多精度值转换为较低精度）来节省计算资源。

Scaling Law并未失效，只是不再局限于参数规模的增加。MIT团队最新研究发现，测试时训练在Scaling大模型上，显现出突破性潜力，ARC公共基准测试中拿下61.9%成绩，媲美人类选手。

人工智能公司在训练新的大型语言模型时面临延迟和挑战 一些研究人员正在关注新模型中推理所需的更多时间 转变可能会影响人工智能资源竞争，例如芯片和能源 据路透社报道，像 OpenAI 这样的人工智能公司正在寻求克服在追求更大规模语言模型过程中出现的 ...

本文来自微信公众号：量子位，作者：一水，原文标题：《今日最热论文：Scaling Law后继乏力，量化也不管用，AI大佬齐刷刷附议》，题图来自：AI生成 几十万人关注，一发表即被行业大佬评为“这是很长时间以来最重要的论文”。 哈佛、斯坦福、MIT等团队的一项研究表明：训练的token越多，需要的精度就越高。 例如，Llama-3在不同数据量下（圆形8B、三角形70B、星星405B），随着数据集大小 ...

ChatGPT发布将满两周年，预训练阶段的扩展定律（scaling law) 不够用了，算力电力瓶颈也让“暴力美学”的路越走越窄。AI与大模型迫切需要一种新范式。 现有前沿大模型在新基准下现出原形。Epoch ...

随着参议员马尔科·卢比奥 (Marco Rubio)和众议员迈克·沃尔兹 (Mike Waltz) 预期将获内阁职位任命 ，美国当选总统唐纳德·特朗普 (Donald Trump)正在组建被一些对华鹰派人士称为强硬“梦之队”的团队。

鉴于特斯拉首席执行官马斯克 (Elon Musk)与特朗普、当选副总统万斯 (J.D. Vance)以及未来政府中的其他人士关系密切，德意志银行 (Deutsche Bank)的分析师周二阐述了他们认为特斯拉具体将如何从特朗普政府中获益。

何小鹏：技术创新是其中非常重要的考虑因素。明后年，我们会越来越有信心，因为技术的广度越做越广，很多能力合成后，就会发现原来每个东西是麻雀虽小、五脏俱全。现在我们把很多基础的平台层做在一起，可以共用很多能力，让能力更强、成本更低、质量更好、用户满意度更 ...