：我们提出了计算等效增益这一概念，用于量化各类增强方法带来的性能提升。CEG被定义为在不采用增强的情况下，预训练计算量需要增加多少才能达到与增强方法相同的基准性能提升。我们开发了一种基于公开基准进行评估的估算方法，以此来计算CEG。

今年 4 月，AI 领域大牛 Karpathy 一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」曾经引发机器学习社区的热烈讨论。 llm.c 旨在大幅简化大模型的训练，ta 使用纯 C 语言 / ...

此外，SLM通常是面向特定任务、应用或用例量身定制的。 至于云端，大型语言模型（LLM）无疑是其中的佼佼者。LLM是一种强大的深度学习算法 ...

LLM是否能验证知识压缩理论 ... 许多声音指出 Scaline Law 的范式正在从 Training-Time 转向 Inference-Time。 6、北大对齐团队撰文解读了o1在技术上的细节 ...

大语言模型（LLM）的自训练（self-training），是验证 Scaling Law 能否继续奏效的关键方法之一。 然而，由于 「错误或无用的中间奖励信号」 ，现有自 ...

纯属brainstorm，欢迎大家一起探讨。想到哪里说到哪里，有遗漏的点欢迎大家在评论区中指出。 个人认为现在LLM能做的点还 ...

快来试试吧！ 2024年5月13日: 🍺🍺🍺 我们发布了量化基准论文： LLM-QBench: A Benchmark Towards the Best Practice for Post-training Quantization of Large Language Models。 Ruihao Gong*, Yang Yong*, Shiqiao Gu*, Yushi Huang*, ...

LLM-Dojo使用简洁且易阅读的代码构建模型训练、RLHF框架等各种功能，使项目易于学习且方便魔改与实验，与大多开源框架相同均是基于huggingface。 主要内容如下： SFT训练框架: 简洁清晰的开源大模型训练框架，支持Deepspeed多卡、Lora、QLora、全参等训练，自动适配 ...