一、卡着点兑现的那天晚上
北京时间 11 月 5 日 0 点,月之暗面官方账号发帖:Releasing the model weights of Kimi K3.1 Pro。10 月 24 日发布时给的承诺是 11 月 4 日前放出权重,卡着最后一小时兑现。Hugging Face 仓库免申请,直接可下,仓库总大小约 1.56TB。
结构上,K3.1 Pro 是 MoE:896 个专家,每个 token 选 16 个,另有 2 个共享专家;共 93 层,其中 69 层是 KDA 线性注意力,24 层是稀疏注意力。视觉编码器 MoonViT-V2 约 4.01 亿参数,原生多模态,上下文 1,048,576 token。权重以 MXFP4 发布、激活 MXFP8,而且是量化感知训练出来的,不是事后压缩。
二、换掉的是那 24 层全注意力
相比 7 月开源的 K3,最实质的改动是把原来 24 层全注意力换成门控稀疏注意力:每个 token 只挑最相关的 2048 个位置做计算,百万级上下文的开销就压下来了。后训练那边,官方说用了大得多的算力,覆盖数百个下游领域,RL 框架、长文本推理、沙箱、任务调度全链路重做。
官方基准跑出来的数字很硬:Terminal-Bench 4.0 得 65.7,GPT-6 Astra 是 58.2,Claude Opus 5.5 是 66.4;SWE Marathon v1.1 得 51.7,表内第一;带工具的 HLE-Full 70.0,第一;BrowseComp 92.1;读真实财报做分析的 OfficeQA Pro v2 64.4,第一。自家长程编程测试 Kimi Code Bench 3.0 从 55.95 升到 61.2,幻觉压力测试的幻觉率从 23.4% 降到 8.3%。
短板也摆在表里:Terminal-Bench-Science 只有 38.1,同期 GPT-6 Astra 是 68.1;Program Bench 31.5,Opus 5.5 是 65.0;不带工具的 HLE-Full 51.1,落后 Opus 5.5 的 59.8。安全类测试整体落后闭源旗舰,与它主动删掉网络攻防训练数据有关:内部漏洞利用测试从 90.5% 降到 81.0%。
三、开源不等于能跑
这一点值得单独说。BF16 精度下权重约 5.6TB,即便 INT4 也要 1.4TB;而官方发的 MXFP4 仓库是 1.56TB。再加 KV cache,SGLang 文档给的数字是每 token 约 18.9KB,一个塞满百万 token 的请求光缓存就要约 19GB。粗算最低要 1.7 到 1.8TB 显存。
现实方案只有三种:一台 8 卡 B300 整机(每卡 288GB,合计约 2.3TB),16 卡 B200,或者 16 卡 H200,后两种都要两台机器。买整机的公开报价在 40 万到 73 万美元区间,按卡租 8 卡 B300 约 57 到 78 美元一小时,一个月四万到六万美元。
海外研究员 Nathan Lambert 的评价是:中国的开源模型实验室,说好哪天开放权重,从来都是按时开放。
所以这条新闻真正的价值不在跑分,而在三件事:权重可审计、可私有化、可微调。至于在家跑 2.8 万亿,那是个段子。