一、20GB 是怎么塞进去的
Thinking Machines Lab 11 月 20 日开放了 Inkling 2 Mini 的权重,Apache 2.0。26.4B 总参数的 MoE,每个 token 激活 3.4B,算上循环带来的重复读取是 5.4B。它能塞进约 20GB,靠两件事:稀疏激活,和原生低精度。大部分权重训练和部署都在 NVFP4,最后四层用 MXFP8。不是训练完再量化,是生下来就是这个精度,所以没有转换损失。
架构上它是个循环 Transformer。全模型 24 层,分成四块,最前和最后两块各跑一次,中间那 12 层每个 token 跑三次,后面几轮会读上一轮传来的信息;它用一层门控把上一轮的输出和当前块的输出合起来,训练才稳。官方说法是让模型多想一会儿,而不是多写一会儿,把推理花在计算上,不花在 token 上。
二、四条部署路径,先选对硬件
官方入口是 Hugging Face 仓库 thinkingmachines/Inkling-2-Mini,权重和模型卡都在。推理侧有四条路:Ollama(官方标注 macOS 32GB 以上内存)、vLLM、SGLang、Unsloth,微调走 Tinker。模型卡上给了各路径对应的命令,照抄就行,别自己拼参数。
选路的关键不是框架,是硬件。NVFP4 的原生加速要到 Blackwell 一代才有,比如 GB300、DGX Spark 这类机器。在那之前的卡上跑,权重会被反量化,20GB 的显存账要重新算。Mac 上走的是另一条线,官方演示用的是 M5 Pro、48GB 统一内存的 MacBook Pro,飞行模式下离线跑,几分钟做出一个能玩的飞行模拟器。32GB 的机器能加载,但上下文一长就开始换页。1M token 的窗口是能力上限,不是内存预算。
只想试就别自己搭:OpenRouter 上已有这个模型,每百万输入 0.15 美元、输出 0.50 美元,先跑通任务再决定买不买机器。
三、跑分该怎么读
官方口径是:在 100B 以下总参数的开放权重模型里,DeepSWE v1.1 拿到 48.2%,Vals Index v2.2 拿到 46.5%,都排第一。Soumith Chintala 的说法更朴素:大致与 Qwen3.8 27B 持平。第三方 Vals 的总榜上它排 43 个模型里的第 38。同一批数字,换个榜单就是另一个位置。
有一点官方讲得很清楚:循环提升的是推理,不是知识。参数量决定能记多少事实,多跑几轮不会让模型多知道一个冷知识。所以它在 AA-Omniscience 这类事实性测试上只是同尺寸的正常水平,而在 BrowseComp、DeepSearchQA、MCP Atlas 这些要靠搜索和工具的测试上领先同尺寸模型。
真正值得研究的是它同时放出的可变循环研究版:不做思维链时的时间跨度,从一轮的 16 秒提到三轮的 37 秒;串行推理基准到十轮还在涨,是训练轮数的两倍多。代价是思维链变短了,对靠读推理过程做监控的人来说不是好消息。官方说可读性还在,agentic sabotage 测试也没随轮数恶化。
给你的判断:如果你的活是长周期编码、需要本地跑、机器有 32GB 以上统一内存或一张 Blackwell 卡,这个模型值得下载。如果你的活是查资料、答冷知识,它的短板正好在那儿,配搜索比换模型有用。本地部署真正变便宜的那天,大概率不是靠更大的模型,而是靠这种同权重多算几遍的架构。
来源:Thinking Machines Lab 2026-11-20 https://thinkingmachines.ai/news/inkling-2-mini/ ;模型卡 https://huggingface.co/thinkingmachines/Inkling-2-Mini