十万张国产卡上的推理栈：模型开始参与修建自己的跑道

一份当成技术博客发的里程碑

GLM 团队在九月发布了一篇文章，讲自己怎么从零搭起一套生产级推理服务。几个数字先摆在这里：集群规模超过十万张国产 AI 加速器，GLM-5.3-Flash 的全部生产推理都跑在这套自建系统上；文章结尾给的关键词是两周、吞吐量提升三倍、十万张卡。

这不是一次常规的基础设施升级公告，因为它顺带交代了一件更少见的事：大量工程工作，是由一个由 GLM-5.3 驱动的 Infra Agent 完成的。

作者没有把这件事说得很轻松。没有人在这个规模上部署过国产加速器，而他们要面对的现实是：单卡显存容量与带宽都相对有限，同时还得支持新的模型架构、百万级 token 的上下文窗口和多模态请求；生态不成熟，内核支持不完整，很多本该有文档的地方只能靠猜。

换句话说，这不是在一次算力充裕的演习里跑分，而是在有限条件下把服务真正顶上线。

原本要一支有经验的基础设施团队花几周完成的任务，被模型参与着做完了。系统由工程师和智能体共同优化，优化后的系统再用以服务用户——文章里那句话概括得很准：模型优化系统，系统运行模型。

后续结果也在同一篇文章里：该模型用匿名名称上线两个开发者平台，一周内成为这两个平台上使用量最高的模型，六天处理了 62 万亿 token。

文章里最值得抄走的一句判断是：缩短系统工程周期，靠的不只是更强的模型能力，而是一套能让模型持续获得反馈、检验自己的判断、修正动作的“智能体工程闭环”。

这解释了很多团队的体验差异：同样的模型，有人用得顺手，有人用得别扭。差别往往不在模型，而在这套闭环有没有建起来——日志、评测、回放、修正，少一环，模型就退化成一个更贵的自动补全。

作者也把话说清楚了：递归自我改进还没到，选择目标、划定边界、评估风险仍然是人该干的事，而且这条线要由人守很久。

对做产业数字化的人，这篇的价值不在算力规模，而在成本结构的方向：当“自建推理栈”从豪赌变成可做的工程，真正的壁垒就从买不买得到卡，转到了你有没有自己的反馈数据与运维经验。那些东西买不到，只能攒。