行业洞察

别按跑分选模型:Airbnb 用单任务成本运营编码智能体

一、评测表里多出来的那一列

Airbnb 在 AWS 机器学习博客里,把自己怎么运营编码智能体摊开写了一遍。内部工具叫 AirChat,每周有数千名工程师和工程周边岗位通过它发起请求,所有模型调用都走部署在 Amazon Bedrock 上的 LLM 网关,代码和提示词不出 AWS。

五周里上了 8 个新模型,到 10 月中旬,约三分之二的智能体请求已经切到新模型。这个速度靠的不是发布会的跑分图,而是评测里多出来的一列:cost per task,一次任务要花多少钱。

算法不复杂:把一个任务里用到的四类 token(未命中缓存的输入、缓存读、缓存写、输出)加上预留的输出额度,按各家公开标价折算成可比的美元数。每个模型、每个推理力度都有一行分数和一行成本。任务本身不是人造题,是真实代码改动和评审意见整理成的文件夹,所以新模型发布当天下午开始评,第二天早上七个套件的分数和成本就都出来了。

二、上线之后,账单和评测对不上

真正的坑在生产环境。有一个模型在博客里叫 model A,评测里比此前最好的模型高三分多,单任务成本还差不多,看着该立刻切换。上线后人均周支出却高出好几倍:单次请求贵约三倍,用户发的请求数也多约三倍。

原因不在输出,在缓存。长时间自主会话里,大部分成本来自反复重读的缓存上下文,而评测任务短、会话浅,压根压不出这个模式。后来有更新的模型,分数比 A 更高,单任务成本只有它的六分之一;再改一条配置,重度用户在主模型上的花费降到原来的七分之一,请求数几乎没变。

三、把提示词改动当发布来管

Airbnb 的网关会给每个模型设推理力度上限,依据就是评测。某个模型从 low 调到 high,分数只涨 0.8 分,单任务成本却到 2.5 倍,这种交换不值得放进默认配置,于是上限直接写死在网关里,不靠工程师自觉。

监控侧看几个 CloudWatch 信号就够:调用延迟、首 token 时间、输出 token 数、派生的每秒输出 token、限流次数,以及预估的 TPM 配额占用。有个案例很典型:端到端延迟涨了 40%,生成速度却没变,最后追到一次系统提示词改动,让每次请求的输出 token 多了 50%。

所以他们把提示词改动和模型升级都当作一次发布来对待。这个约定听着笨,但它把 AI 账单为什么涨了,从一个玄学问题变成了一个可以 diff 的变更。

对国内做智能体的团队,这套方法可以直接抄:先建自己的任务集,再给每个模型算单任务成本,然后接受一个事实,跑分决定不了采购,账才能。

来源:AWS Machine Learning Blog 2026-11-19 https://aws.amazon.com/blogs/machine-learning/how-airbnb-uses-cost-per-task-to-operate-coding-agents-on-amazon-bedrock/