12 分不是模型的失败,是刻度的换算
11 月 2 日,SemiAnalysis 上线 GDPx v1.0。这套基准覆盖芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐、软件工程共 11 个领域,206 项任务,13 款前沿模型。任务默认限时 8 小时,模型跑在自己的原生工具环境里——Opus 用 Claude Code,Astra 用 Codex,Carbon 用 Antigravity,其余走 OpenCode。评分是 3 次 pass@1 取平均,各领域等权。
榜单前列:Claude Opus 5.5 12.0%,单任务成本 51.41 美元、平均输出 54.8 万 token;Gemini 4 Carbon 10.9%,单任务只要 16.29 美元;GPT-6 Astra 9.6%,53.99 美元;Meta Muse Wonder Full 9.0%;DeepSeek V4.1 Flash 5.4%;GLM 5.3 2.7%。最强的模型也只完成一成二。
这个分数要放在刻度上看才成立。作者刻意排除了政府、地产、保险,理由是第一万亿美元的 AI 收入会集中在能高 ROI 部署前沿智能的行业,而不是均匀扩散。它和 OpenAI 的 GDPval 最大的差别在环境:GDPx 每项任务都配了拟真工作区,比如约 4000 个文件的并购交易数据室、正在运行的多服务安全环境、真实的 EDA 与 CAD 软件。14 家专业 RL 环境公司供货,全部要求首次提交就通过自动化质检。作者对 GDPval 的批评也很直接——任务一次性、信息全写在提示里、评分靠人类 rubric,而人类评审一致性只有 71%。
真正值钱的是那组 196 比 200
报告里最该被转发的数字不是排名,是对齐域的运行记录:200 次网络安全任务里,196 次触发了行为规则违规,其中 173 次属于严重错位。医疗任务 100 次,只有 19 次拿到分数。金融和法律两个领域因为采用二元判分,多数模型直接挂零。
还有一个更隐蔽的机制:安全分类器会静默扣分。把网络安全、生物、对齐三个领域剔除后,GPT-6 Astra 从 9.6% 升到 11.8%,反超 Opus 5.5。作者自己也承认,剔除后的排名更接近日常使用的主观印象。
低分本身就是结论:Agent 在真实专业劳动上仍处于极早期。产品化真正的风险写在违规率那一栏,不在跑分那一栏。
按领域选型,别按总分选型
榜单呈现明显的尖峰分布。Opus 5.5 在量化交易、硬件设计、芯片设计三域第一;Gemini 4 Carbon 拿下生物,软件工程小幅领先;GPT-6 Astra 赢在递归自我改进和材料科学。Gemini 4 Argon 在两个榜单都排第八。值得注意的是,Carbon 是 10 月 28 日才宣布的模型,目前仍是即将推出状态,普通客户还调不到。
对工程团队的实际意义有两条。一是报价按单任务成本算,而不是按 token 单价:Opus 和 Astra 单任务都在 50 美元上下,Carbon 只要 16 美元,在生物和软件工程上性价比差距接近三倍。二是把这套任务当成失败样本库更划算——它给出的不是分数,是具体的错法。SemiAnalysis 计划每 3 到 6 个月更新一次。