AI前沿

1.6 万亿参数跑在国产卡上:LongCat-2.5 把长上下文训练做通了

1.6 万亿参数,全程国产卡

11 月 2 日,美团发布 LongCat-2.5。总参数 1.6 万亿,激活 480 亿,上下文 1M token,单次最多输出 128K。定位很清楚:面向长程智能体任务的原生多模态模型。这堆数字里最扎眼的一条不是参数量,而是训练全程由国产算力完成——按美团的说法,这是目前国产算力上跑完的最大一次训练任务。

上一代 LongCat-2.0 在今年 6 月发布,第一次在国产算力上完成万亿参数模型的全流程训练与推理。这次是在同一条路上再往前推一步:中训练阶段用了最长 1M token 的序列,累计训练量达到数万亿 token。多卡协同处理这种长序列,瓶颈不在算力峰值,而在显存容量和卡间通信。

多模态这块,LongCat-2.5 把视觉输入切成离散 token,和文本 token 排进同一个序列,属于训练阶段就在一起训的原生多模态,不是外挂一个视觉编码器。落地场景举的是交互网页和 3D 展示页面——模型写完代码会再看一眼渲染结果,判断对不对。

单卡吞吐 +86%,答案在超节点里

国产加速卡的单卡显存普遍小于同代 GPU,这是硬约束。美团的解法不是等硬件,而是改任务分工:把参数与任务数据的主要通信压进超节点内的高速互联网络,减少跨节点流量。技术博客给出的数字是,在所测长上下文监督微调任务中,优化后的单卡训练吞吐比 DDP 基线提升 86%,折算下来一张卡干了原来 1.86 张卡的活。

推理侧走的是 W4A4,把专家权重和激活同时量化到 4 比特,并针对国产加速器的硬件特性重排计算与传输。官方称在已评测的下游任务上,精度与量化前相当。线上压测对比 W8A8 INT8 基线:输入处理和逐 token 生成的吞吐都提升约四成,首次输出等待缩短约 16%,后续每个 token 的生成耗时缩短约 20%。

这三个数字值得连起来看。吞吐提升四成是机房视角的成本,首 token 缩短 16%、每 token 缩短 20% 是用户视角的体感。量化到 4 比特能把两者同时改善,说明瓶颈确实在访存带宽而不是算力——这个判断对任何做推理部署的团队都成立。

跑分卡在 Opus 4.8 和 Opus 5 之间

官方评测口径是:多项主流基准上,LongCat-2.5 的成绩介于 Claude-Opus-4.8 与 Claude-Opus-5 之间,部分评测超过 Opus-5。最有说服力的是长程任务那一栏——Terminal Bench v4.0 上,上一代 LongCat-2.0 只有 3.0 分,这一代 38.5 分。这个跨度不是调参能调出来的,背后是真实代码环境里的大规模长程强化学习:拿真实仓库的 PR 和 issue 训,也拿 Agent 干活时的失败记录训。

商业分析是另一个刻意强化的方向。围绕美团主业,LongCat-2.5 用来支撑本地生活商家的经营分析,配套产品是 AI 经营工作台妙手,帮商家理解行业指标与品牌规则,并在授权范围内调用工具执行任务。价格上,每百万 token 输入 2 元、缓存命中 0.04 元、输出 8 元;官网 longcat.ai 可直接体验,开发者走 API。

王兴在二季度财报会上说过一句话:我们不会成为 Token 工厂。这句话解释了 LongCat 系列的取向——它不追榜单第一,它追的是能不能进真实工作流。

对使用者来说,这件事的意义不在又多了一个可选模型,而在于国芯国模这条链路第一次跑通了万亿参数级别的长上下文训练加 4 比特推理。它证明的是工程可行性,不是性能天花板。真正该观察的下一步是:这套超节点调度和 W4A4 方案,会不会被更多国产卡厂商复用成标准件。