软件教程

一个模型读文本图像音频视频:Cloudflare Clef-omni 上手四步

决策模型第一次能听和看

Cloudflare 在 10 月 9 日发布了开放权重决策模型 Clef-omni,把 Clef 家族从文本加图像扩展到文本、图像、音频、视频四类输入。它基于 Qwen3-Omni-30B-A3B-Instruct 的 MoE 主干构建,保留了多模态理解能力,去掉了基座模型的文本转语音输出部分,权重以 Apache 2.0 在 Hugging Face 开放。

和 LLM 最大的区别是:Clef-omni 不生成文本。它接收一段状态描述、若干输入和多道带类型的问答题,然后一次性给每一个候选答案打出置信度分数。这意味着它不做转写、不做描述,直接跳过生成 token 这一步。

过去要判断一段录音或一段视频,你得把多个模型串成流水线:先把语音转成文字,再把音视频拆轨,最后交给文本决策模型。Clef-omni 把这些步骤合并成一次请求。

四步跑通一次调用

第一步,确认模型 ID。它跑在 Cloudflare Workers AI 上,模型名为 @cf/cloudflare/clef-omni;由于沿用 Jev 系的 API 规范,把模型 ID 换掉就能直接迁移已有调用。第二步,准备输入。文本放在 state 字段;图像、音频(wav 或 mp3)、视频(mp4 或 webm)分别以 base64 data URL 放进 images、audio、videos 字段。第三步,定义问题。每个问题给一个类型和一句 instructions,例如判断照片里标签是否可见、机器运转声音是否正常、风扇是否在转。第四步,读取分数。返回的是每个允许选项的概率,而不是一段自然语言。

一个官方的机器安装验收示例大致是这样组织的:state 写成检查这次安装所需设备的照片、它运行时的一段录音、风扇的一段视频,然后同时挂上三张媒体的 base64 数据,再配三道判断问题,一次调用完成全部检查。

延迟与价格怎么算

Cloudflare 公布的数据是:纯文本请求中位约 130 毫秒,带图像约 150 毫秒,音频片段在几百毫秒量级,一段 21 秒带声音的视频约 1.5 秒完成评分。价格方面,Clef-omni 的 Workers AI 输入价约每百万 token 0.15 美元;同批还下调了 Clef-flash 的价格,从每百万输入 token 0.09 美元降到 0.038 美元,降幅约 58%,官方称已低于 TypeSafe 的 Jev。

需要提醒的是,决策模型不是万能替代。它不做摘要、不做解释、不做多轮追问,适合的是有明确候选答案、只需要打分的场景:内容审核、客服意图分流、设备巡检、语音合规检查。把开放权重、低延迟和不生成 token 这三点叠在一起,它对需要高并发、低成本的判断类任务,确实是一条值得试一试的新路径。