一、开的是预训练终点,不是能直接聊天的模型
11 月 5 日,百度文心团队把 ERNIE-5.5-Flash-Base 的权重放上 Hugging Face,FP8 与 BF16 两个版本,许可为 ERNIE 5.5 Flash Base Model License Agreement v1.0。官方说得很清楚:这是预训练终点的 checkpoint,没有做中训练,也没有做后训练,不是一个开箱能对话的模型。它的用途是给领域适配、指令微调和强化学习研究提供一个统一的起点。
这句话听起来像免责声明,其实是这次发布里最有信息量的部分。同一份 base 权重,不同团队跑不同的后训练配方,结果可以直接横向比较。过去这类对照很难做,因为各家底模不一样,涨点究竟来自数据、算法还是底模,说不清楚。现在至少在同一尺寸上有了一个可复现的零点。
规格是这样:280B 总参数,每 token 激活 14B,43 层 Transformer,hidden size 4096,64 个注意力头。预训练用了 33.5T tokens,从零开始,训练上下文最长 128K,微调与推理阶段可以外扩到 1M。稀疏侧是 512 个路由专家,每个 token 选 10 个。
二、把效率写进每一层:HCA、VHA 与低秩门控
百度给出的设计主线是,让所有激活参数和每字节 KV cache 都发挥更大作用。落到结构上有三处改动。
第一处是注意力。43 层里有 37 层用 HCA(重度压缩注意力),每 128 个 token 只缓存一条 KV,把长上下文的缓存开销直接压掉一个数量级;剩下 6 层保留 MLA(多头潜在注意力),负责需要精确定位的检索。压缩与精准分工,是这套混合稀疏注意力的核心思路。
第二处是注意力层内部的门控。低秩门控注意力把门控计算降维,VHA(虚拟头注意力)在多个注意力头之间做信息融合,用更少的参数换更稳的头部协同。
第三处是训练系统本身。优化器用 Muon,混合精度是 FP8,模型结构与训练系统协同设计。这句话在很多技术博客里是套话,但在这里有具体含义:HCA 的缓存压缩只有在 kernel 层面吃满带宽时才有收益,否则省下的显存会被调度开销吃掉。
一个 base 模型的价值,既在于预训练建立了怎样的能力基础,也在于它为后续训练提供了怎样的起点。
三、30 项里 24 项第一,短板也很清楚
在百度自建的评测流水线里,ERNIE 5.5 Flash Base 在 30 项 base 模型基准中拿到 24 项第一。最强的一项是 MMLU-Pro 78.4,对标 DeepSeek-V4-Flash-Base 的 69.2;最弱的一项是 HELMET-Rerank 56.2,反而落后对手 3.8 分。长上下文的重排检索不是它的强项,做 RAG 落地前值得先测这一项。
工程侧,官方给了 vLLM 和 SGLang 两条路的参考配置,都是 4 路并行,另有一个 vLLM-ERNIE 插件。没有披露具体 GPU 型号和最低显存要求,这是发布里含糊的一块,280B 的模型就算激活只有 14B,权重全量加载也不是消费级卡能碰的量级。另外它是纯文本模型,没有多模态。
放到开源竞争的坐标里看,这次姿态和 Kimi 那种旗舰全量开源不一样:百度开的是一块积木,不是一栋房子。对做后训练研究的团队,这块积木比一个调好的模型更值钱;对想直接拿来跑业务的团队,它什么都不是,还得等 ERNIE 5.5 Flash 的后训练版本。