8 月 26 日,Qwen 和智谱在同一天开放了两款模型的权重。发布页上仍然摆着熟悉的东西,参数、榜单、上下文长度,还有一排与闭源模型比较的分数。

我把两边的模型卡和技术说明对在一起,先被两个小数字拦住了。Qwen3.8-Flash-Next 的主模型有 1250 亿参数,每生成一个词元只激活 60 亿。GLM-5.3-Flash 总共有 3200 亿参数,每个词元激活 180 亿。它们都保留了很大的容量,直接参与眼前这一步计算的部分却被压得很小。

这两款模型没有采用同一套结构,方向很接近。两支团队都在计算一笔具体的账。模型读完越来越长的代码、文档和工具返回以后,每生成一个词元要算多少,存多少,又要在设备之间搬多少数据。

两款模型都在减少每个词元的计算量

Qwen3.8-Flash-Next 是 Qwen4 的架构预览。它共有 48 层,基本排列是三层 Gated DeltaNet 接一层 Qwen Sparse Attention,循环十二次。前者把已经读过的内容压进固定大小的状态,后者从长上下文里挑出需要重新查看的片段。模型不用在每一层都回头看一遍全部历史。

Qwen 又把稀疏注意力的检索单位从单个词元改成了小块。官方模型卡给出的预算是 512 个块,合计 2048 个词元。上下文可以继续变长,每次全局检索仍只处理其中一小部分。这种安排会漏掉什么,仍要靠长上下文任务继续测试。它要解决的问题很清楚,全量注意力的计算量和内存访问会随着上下文增长,智能体每多读一批文件,费用就继续往上走。

GLM-5.3-Flash 也混合了两种注意力。线性注意力负责保存局部依赖,稀疏注意力负责找回较远的内容。智谱还做了一个名为 IndexPool 的索引结构,把四个索引键向量压成一个,专门减少百万词元上下文里的检索时延和内存占用。

智谱拿它与 GLM-5.3 比较,称每层每个注意力头的计算量降到约三分之一,平均 KV Cache 降到约四分之一。这是开发方自己的结构测算,基线也来自同一家公司。它至少说明了设计目标。GLM-5.3-Flash 的 3200 亿总参数并没有追求更大的标题数字,激活参数从 GLM-4.5 的 320 亿降到 180 亿,层数从 92 层减到 45 层。

长上下文开始先算搬运成本

以前介绍大模型,参数量经常被当成第一行。模型开始运行以后,显卡还要不断读取权重、保存 KV Cache、交换设备之间的数据。计算单元等着数据到达时,参数再多也不会自动变成输出速度。

Qwen 的一个新设计很能说明这种变化。它在 1250 亿主模型之外增加了 510 亿个 N-gram Embedding 参数,还放进一层 40 亿参数的多词元预测模块。若把三部分都算进去,总量约为 1800 亿。新增的 510 亿参数并不跟 MoE 专家一样参与矩阵计算。模型根据相邻的二元组和三元组直接查表,位置可以提前确定,数据也能放在主机内存里,再与模型计算并行预取。

这个办法把容量和算力拆开了一部分。模型可以记住更多局部模式,每个词元不必为整张表付一次计算费。代价落到了内存容量、CPU 与加速卡之间的带宽,以及推理框架能否把预取安排好。架构论文里的一个新模块,到了部署现场就会变成内存条、总线和调度器的问题。

GLM 走了另一条路。智谱称 GLM-5.3-Flash 已在国产加速芯片集群上承接真实流量。为了应付百万词元上下文,它同时用了混合精度缓存量化、层拆分和 Encode、Prefill、Decode 三类工作池。图像编码、提示词预填充和逐词元生成可以分别扩缩容,不必挤在同一组机器上。

智谱报告的端到端服务性能是初始基线的三倍,并称单词元成本已经接近主流 NVIDIA GPU。这里缺少外部团队在同样硬件和流量下的复测,数字只能按公司自述理解。它揭示的工程关系比较难忽略。模型结构、芯片条件和服务调度已经绑在一起,单看模型文件很难算清最终成本。

低价模型也可能有不同的速度

第三方结果给这场架构竞赛补了一点现实感。Artificial Analysis 在同一版综合评测中给 Qwen3.8-Flash-Next 打出 56 分,给 GLM-5.3-Flash 打出 57 分。两者非常接近。

服务表现没有这样接近。该机构通过公开 API 测得 Qwen 平均每秒输出约 80 个词元,GLM 约 49 个。完成整套综合评测时,Qwen 生成了约两亿个输出词元,GLM 约一点五亿。按当时 API 价格计算,单项任务的加权平均成本分别约为 0.10 美元和 0.09 美元。

这些数字会随提供商、量化方式、并发和价格变化,也不能代替企业自己的任务测试。它们提醒采购者,同一个综合分数下面,速度、输出长度和总费用仍会分开。便宜的单词元遇上更长的推理过程,最后一张账单未必更小。

开放权重也有两套使用规则

两家公司都把权重交给外部开发者,开放程度并不一样。GLM-5.3-Flash 使用 MIT 许可证,商业使用、修改和再分发的限制相对少。Qwen3.8-Flash-Next 使用 Qwen Community License 1.0。许可证允许使用、修改和部署,也要求模型即服务或独立的编程、办公助手业务另行取得授权。月活超过一亿或月收入超过两千万美元的商业产品,还要在界面上明确展示模型名称。

这个差别会直接进入产品决策。研究团队下载权重做架构实验,通常先看显存和框架。准备把模型做成 API、编程助手或办公助手的公司,还要把许可证放进同一张评估表。模型能否跑起来与产品能否按计划售卖,是两次检查。

开放权重仍然带来一个重要变化。Qwen 和 GLM 的模型卡都给出了 Transformers、vLLM、SGLang 等部署入口,外部团队可以检查结构,改变量化方式,也可以拿自己的工作负载复测厂商数字。两款模型发布还不到一周,能经得起复查的吞吐、长上下文召回和任务完成成本测试才刚开始积累。

总参数以后只能回答第一个问题

总参数依然有用。它大致告诉人们模型文件有多大,需要多少存储和内存。到了推理阶段,采购者还要继续问下去。每个词元激活多少参数,KV Cache 怎样增长,权重从哪里读取,提示词与生成阶段怎样调度,模型为完成一项任务会输出多少词元。

排行榜接下来仍会告诉我们谁的分数高。部署一款模型的人会多看几行。一个词元究竟调动了多少计算,搬了多少数据,占了多久机器,最后又为一项工作生成了多少词元。这些数字相乘以后,才接近模型实际收的钱。

参考资料