软件教程

llama.cpp 到 1.0 了,35 个函数被删,升级前先看这份清单

一、1.0 的核心承诺是版本号

11 月 13 日 10 时 20 分 UTC,ggml-org 把 llama.cpp 与底下的张量库 ggml 一起打成 1.0.0。项目走了大约三年半,发布时 GitHub 星标超过 13.4 万。Hugging Face 博客给出的理由是:太多下游应用已经直接依赖这些头文件,一个灵活但稳定的 API 成了必需品。

规则从此明确。主版本号只在公开 C API 不兼容时跳,范围限定在两个目录:libllama 的头文件在 llama.cpp/include/,libggml 的头文件在 ggml/include/。次版本号对应向后兼容的新特性、后端更新与 API 新增;修订号只修 bug。落到实践就是一句话:版本号第一位不变,你的集成不该坏。

二、升级会打断你的四处 API

1.0 本身就是一个破坏性版本,这是把清理放在此刻做的意思。llama.h 删掉了 llama_set_warmup、35 个标记为废弃的函数,以及上下文参数里的 defrag_thold 字段和配套的 --defrag-thold 开关。用于投机解码的 NextN 接口从 llama-ext.h 提拔进主头文件 llama.h,据相关 PR 涉及 18 个函数。llama_set_embd_state_src 改名为 llama_set_ctx_state_src。多模态侧 clip.h 整个移除,代码并入 mtmd。RPC 协议升到 v9,会直接拒绝不兼容的对端。

迁移顺序建议这样走。第一步先编译,不要先读文档——编译器会一次性把所有调用点报出来,这是最省力的清单。第二步处理改名。第三步检查链接方式:发布二进制的话,ABI 断裂比 API 断裂更危险。第四步再处理 clip.h,按 mtmd 的路径重写多模态初始化。

函数是直接删的,不是打个废弃标记让你慢慢来。编译器替你找齐所有调用点,所以第一步不是读文档,是编译一遍。

三、两个省显存的开关和一个必须改的默认值

KV cache 现在可以用 OCP FP8 存,参数是 -ctk f8_e4m3 与 -ctv f8_e4m3,每个条目从 16 位降到 8 位,还能配静态的 per-tensor scale。MoE 模型多了一个宿主机内存专家缓存,由新加的 moe_cache_size 与 moe_cache_cpu_share 控制:没命中的专家在 CPU 上算完再异步拷回,替换策略提供 LRFU 与 ClassLRU。发布说明没给任何基准数字,先在自己的卡上量再写进配置。

模型侧新增 Kimi-K3.1-Pro、Ripple-65B-Preview、xing4_0 三个文本架构,语音支持 drama-3,视觉支持 MageVL-Cowork 与 Kimi-K3.1,架构变体总数超过 150 种。

最后这段自建服务的人要读两遍。llama-server 修了 --cors-origins 处理、DNS 重绑定、经 CORS 代理与媒体 URL 的 SSRF,以及浏览器直连子实例的问题;HF_TOKEN 现在只发给 huggingface.co;客户端断开或超时时 MCP 工具调用会被取消。两个过去默认放行的能力改成显式开启:--allow-unauthenticated-tools 与 --media-allow-private-urls。也就是说,服务绑在非回环地址、没设 API key、还开着工具或 MCP,升级后会直接报错——这是行为变更,加 key 或加参数二选一。

来源:https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0 ;Hugging Face 博客 https://huggingface.co/blog/ggml-org/llama-cpp-v1