大智慧配资 智谱唐杰：大模型只看参数的时代，结束了
Scaling Law 还在，但今天的大模型，已经不能只靠"参数量"来理解 Scaling 了。
这是智谱创始人、清华大学教授唐杰对于 Scaling Law 的最新判断。
他在 X 上发表的一则有关 Thoughts About Scaling Law 的帖子，开头便把大模型发布会上最常见的那个问题拆了——
Scaling，但 Scaling 的不只是参数。
在唐杰看来，单独报出参数量，已经很难说明一个模型究竟处在什么规模水平。
至少还要一起看三件事——
用了多少数据、准备把算力花在哪里，以及模型最终由谁、在什么条件下运行。
过去几年，大模型的 Scaling 路线已经发生过几次集体转向。
从一味扩大参数，到增加训练数据，再到把推理成本和后训练纳入计算，每次转弯都在改写同一个答案：
所谓的"最优 Scaling "，其实会随着任务、架构和使用方式不断变化。
唐杰复盘 Scaling Law：参数从来无法单独决定能力
唐杰先翻出了大模型 Scaling 史上一段相当经典的"集体转弯"。
2020 年，Kaplan 等研究者通过不同规模的语言模型拟合 Scaling Law，得出一个影响深远的结论——
计算预算增加时，模型参数应该比训练数据增长得更快。
唐杰在帖文中，将两者的增长关系概括为约 2.7 ∶ 1。
这套结论很快为大模型竞赛定下方向，GPT-3、Gopher 和 MT-NLG 相继登场，参数量从 1750 亿一路涨到 5300 亿，万亿参数也逐渐成为前沿模型的代表性目标。
模型越做越大，参数表越来越吓人。
然而两年后，DeepMind 重新做了一遍实验，问题随即暴露出来。
团队训练了超过 400 个模型，覆盖 7000 万到 160 亿参数、50 亿到 5000 亿训练 Token。
结果显示，当时的大模型普遍塞入了太多参数，吃进去的数据却远远不够。
找到问题后，DeepMind 又训练了一个更小的模型：Chinchilla。
它只有 700 亿参数，比 2800 亿参数的 Gopher 小了四倍；训练数据达到 1.4 万亿 Token，又多了四倍。
同样的训练计算量下，小一圈、吃得更饱的 Chinchilla 全面超过 Gopher，还压过 GPT-3、Jurassic-1 和 MT-NLG。
由此诞生的 Chinchilla Scaling Law，将计算最优配比推向约 20 个 Token 对应一个参数，随着计算预算增长，参数与训练数据也应该近似同步扩大。
这次转向，也让唐杰重新评价此前的参数竞赛——
在他看来，早期 Scaling Law 中的拟合误差，会随着计算规模不断累积。模型越大，参数与数据之间的资源错配也可能越严重。
回头再看，那轮万亿参数竞赛，成了全行业共同走过、随后又折返的一段岔路。
但在唐杰的复盘里，Chinchilla 也没有给出一劳永逸的答案。
因为 Chinchilla 解决的是训练阶段的资源分配：一个模型只训练一次，在固定计算预算下，参数和数据该怎么搭配。
可模型训练完成后，还要被一次次调用，今天的头部模型每天可能处理数十亿次请求，模型越大，每次运行需要的计算量和部署成本也越高。
推理成本由此进入 Scaling 的账本，最优方案也跟着再次移动。
此外相关研究也发现，如果一款模型预计要处理约 10 亿次请求，更小的模型配合更长时间训练，可能拥有更低的全生命周期成本，研究者把训练强度一路提高到每参数 1 万个 Token，模型质量仍在继续改善。
唐杰在帖文中举了两个已经"超额训练"的例子——
Llama 2 7B 每个参数约对应 290 个训练 Token，Gemma 2 9B 更达到约 889 个，远远超过 Chinchilla 时期的 20。
从扩大参数，到补足数据，再到计算整个生命周期的推理成本，Scaling 的重点一路移动。背后的问题却始终没变：
那就是有限的计算资源，究竟该花在哪里。
总参数管容量，激活量影响推理
到了 MoE 模型，这道资源分配题又多了一层。
唐杰将参数拆成两个维度——
总参数量更像模型的仓库，决定它能装下多少知识、事实和长尾信息。
激活参数量与有效深度，则更接近模型一次能够调动多少能力，把推理链走多远。
这两种能力，在漏洞发现中很容易区分。
模型记住更多 CVE，意味着它见过更多案例，可真正遇到一个新漏洞，它还要从异常代码追到触发条件，再设计验证方法和利用路径，连续走完二十步推理，途中不能丢掉线索。
因此在唐杰看来，发现漏洞依赖长链推理能力，很难用总参数量直接衡量。
这套判断，也给 GLM-5.3 的训练方向提供了解释。
智谱保留了 GLM-5.2 的基座和架构，总参数量与激活参数量同样保持不变，过去一个月，团队把新增计算集中投入长程任务环境与强化学习。
参数表原地没动，提升来自后训练。
智谱官方发布页显示，GLM-5.3 在 Terminal-Bench 3.0 上从 4.6 升至 28.3，DeepSWE 从 46.2 涨到 66.9，Agents ’ Last Exam 也从 23.8 升至 28.5。
这些成绩目前主要来自智谱官方测试，外部复现还要等待模型权重开放，但对唐杰来说，这次实验已经验证了一个阶段性判断——
Scaling 有很多旋钮。
GLM-5.3 这次拧动后训练，因为这里当时拥有最大的剩余空间。
参数规模、预训练数据和单次前向计算量依然留在牌桌上，智谱之后也可能重新转向中训练、预训练，继续扩大其他方向。
多个旋钮无需同时转动。上一次最值得投入的方向，到了下一轮，可能已经让位给新的瓶颈。
当前大模型的竞赛单位，正在从谁的知识库更大，转向谁能让模型在真实环境里把复杂任务做完。
如果模型只是回答问题，参数规模依然很好讲。
但如果它要连续工作几小时、几天，甚至像一个数字员工那样接手完整项目，那么决定胜负的就不只是它记住了多少，而是它能不能一直不掉线、不跑偏，并且对结果负责。
万亿参数没有消失。
只是从现在开始，它可能不再是唯一值得被写进标题的那个数字。
参考链接：
[ 1 ] https://x.com/jietang/status/2089941544581403107
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见
倍顺网提示：文章来自网络，不代表本站观点。
