十万张国产加速卡上，跑起了一个推理服务

智谱在一篇技术回顾里讲了一件事：GLM-5.3-Flash 的生产推理，跑在一个从零搭建、规模超过十万张国产 AI 加速卡的集群上。而真正的难点不在“把模型跑起来”——那只是第一步。

不是演示，是要接住生产流量

他们列出的几座山很实在：单卡显存容量与带宽相对有限，要支持新的模型架构，要撑起百万级 token 的上下文窗口，还要处理多模态请求。同时配套生态不成熟，算子支持不完整，很多本该有文档的地方只能靠猜。这几乎是所有做自研硬件适配的团队都会撞上的墙。

他们把这件事归到了“模型开始参与建造自己”这条线上——这次基础设施任务里，相当一部分工作由模型协助完成。这个说法可以争论，但底层规律是清楚的：当团队把硬件、框架、模型三层都握在自己手里，积累的不只是性能数字，而是一整套排错经验。

生态不成熟时，最大的成本往往不是写代码，而是“没人知道正确答案”。一个算子算得对不对、显存瓶颈的根因在哪里，都得重新试。这类知识没法从文档里抄，只能用时间和算力堆出来；正因如此，它对后来者比硬件更难复制。

第一，算力自主的瓶颈在软件栈，不在硬件数量。把卡买回来只是入场券，能不能让主流框架、算子库、推理引擎都顺起来，决定了这些卡是资产还是库存。

第二，长上下文是成本问题，不是参数问题。百万级窗口对显存和带宽的压力是实打实的，做业务预算时要按最坏情况估，而不是按演示效果估。

第三，团队里要有人专门管“适配”这摊事。多数企业并不需要自建十万卡集群，但只要用到国产卡或异构算力，就需要一个机制，把踩坑结论沉淀进自己的文档，而不是只留在某个人脑子里。

技术自主这件事，宣传口径讲的是“我们有多少卡”，工程口径讲的是“多久能把一个新模型接上去、跑稳、再降本”。后一个问题更接近生意的真相。