AI 模型评测
已冻结

原名 CACB(Codex 智能体能力基准)。原来想用同一套真实的编程题,让不同的 AI 模型在 Codex 里各答一遍,由程序查清它们真正做成了什么,再给选模型当参考。8 月 8 日开工,8 月 31 日最后一次提交,完整的比较报告一直没出。

为什么不用了

每测一次都要花不少 AI 额度,自己出的题也测不准谁更强;日常用下来,哪个好用反而一清二楚。9 月 12 日冻结。四条原因,逐条看

现在靠什么判断模型

选哪个 AI,看厂商公布的成绩和权威评测机构的排名。

停到什么程度

私有仓库原样留着,没有计划任务要停。

1
0
8 月 31 日时,能拿来选模型的完整比较
2
500 万–800 万
token:一个模型答完 10 道题的输入量(8 月 13 日三次试跑)
3
24 个
计划要测的 Codex 组合(哪个模型、思考多深、单干还是带帮手);外部工具交接时另备 Antigravity 13 个、OpenCode 8 个,后来又陆续加
4
65 次
提交,8 月 8 日到 31 日

冻结的项目,AI 不主动看、不维护:约法 L24

AI 模型评测
已冻结

原名 CACB(Codex 智能体能力基准)。原来想用同一套真实的编程题,让不同的 AI 模型在 Codex 里各答一遍,由程序查清它们真正做成了什么,再给选模型当参考。8 月 8 日开工,8 月 31 日最后一次提交,完整的比较报告一直没出。

为什么不用了

每测一次都要花不少 AI 额度,自己出的题也测不准谁更强;日常用下来,哪个好用反而一清二楚。9 月 12 日冻结。四条原因,逐条看

现在靠什么判断模型

选哪个 AI,看厂商公布的成绩和权威评测机构的排名。

停到什么程度

私有仓库原样留着,没有计划任务要停。

1
0
8 月 31 日时,能拿来选模型的完整比较
2
500 万–800 万
token:一个模型答完 10 道题的输入量(8 月 13 日三次试跑)
3
24 个
计划要测的 Codex 组合(哪个模型、思考多深、单干还是带帮手);外部工具交接时另备 Antigravity 13 个、OpenCode 8 个,后来又陆续加
4
65 次
提交,8 月 8 日到 31 日

冻结的项目,AI 不主动看、不维护:约法 L24

四条原因

本人 9 月 28 日说明的原因,翻成人话是下面四条。每条下面的浅色小字,是这个项目自己的记录里看得到的事实(AI 补的,不是本人的话)。

  • 1
    太费额度

一个模型把 10 道题连着答完,输入就是 500 万–800 万 token、用时 18–25 分钟(8 月 13 日三个型号各试跑一次,都开最高档)。原计划 24 个组合各答 3 次,一共 72 次;每份合格答卷还要另开一个最高档的模型来评。

  • 2
    外面已经有评测

项目自己的设计就把外部公开评测放在第一位:排名以外部评测为准,自己测的两栏分数只并列摆着、不参加排名;按质量和价钱挑模型时,也是外部评测占大头、自己测的只当小修正(大约七三开,是判断的轻重,不是公式)。

  • 3
    自己出的题评不出能力

8 月 13 日试跑,自己出的 10 道题拉不开最强几个模型的差距,题目区分不出它们(这次试跑后来作废,分数不作结论)。项目规则也写着:大家都满分或都不及格时,只能报“分不出”,不硬造差距。

  • 4
    平时用着就看得出来

每天在 Claude、Codex 里干活,一个模型靠不靠谱、常在哪里出错,看得见。项目自己也写明:没测过的模型照样正常派活,没评测不算零分。

四条原因

本人 9 月 28 日说明的原因,翻成人话是下面四条。每条下面的浅色小字,是这个项目自己的记录里看得到的事实(AI 补的,不是本人的话)。

  • 1
    太费额度

一个模型把 10 道题连着答完,输入就是 500 万–800 万 token、用时 18–25 分钟(8 月 13 日三个型号各试跑一次,都开最高档)。原计划 24 个组合各答 3 次,一共 72 次;每份合格答卷还要另开一个最高档的模型来评。

  • 2
    外面已经有评测

项目自己的设计就把外部公开评测放在第一位:排名以外部评测为准,自己测的两栏分数只并列摆着、不参加排名;按质量和价钱挑模型时,也是外部评测占大头、自己测的只当小修正(大约七三开,是判断的轻重,不是公式)。

  • 3
    自己出的题评不出能力

8 月 13 日试跑,自己出的 10 道题拉不开最强几个模型的差距,题目区分不出它们(这次试跑后来作废,分数不作结论)。项目规则也写着:大家都满分或都不及格时,只能报“分不出”,不硬造差距。

  • 4
    平时用着就看得出来

每天在 Claude、Codex 里干活,一个模型靠不靠谱、常在哪里出错,看得见。项目自己也写明:没测过的模型照样正常派活,没评测不算零分。

当初想解决什么、怎么用
想解决什么

AI 说“修好了”,可能只留下一段回答或半成品;界面上写着某个模型,实际跑的也可能是别的。想用同一套真实的编程题、各自隔开的文件夹和真正交出来的文件,查清“这个模型 + Codex”到底能干成什么,给选模型当参考。

1 定题

10 道题连成一次作答;题目和藏起来的检查先定死,开跑后不改

2 分开作答

每个组合一个空文件夹、同一份题;Codex 原生子代理、本机模型、云端接口三种接法

3 程序检查

在答题的 AI 之外重跑检查,每题 100 分

4 蒙眼评审

合格的答卷交给全新的 GPT-5.6 Sol(max 档),不告诉它是谁答的

5 出报告

程序分和评审分两栏并列、不相加;主排名看外部评测

我要做什么
  • 在负责它的 Codex 对话里说想测哪些模型
  • Antigravity 和 OpenCode 那几组:自己在界面里选好模型,粘贴 AI 写好的提示词
  • 想看一次任务花多少额度:先发一段固定的测额度提示词(1 题或 10 题版,叫“额度探针”),看界面上的额度,再发第二条删掉临时文件夹
10 道题

C1 跨几个仓库加功能 C2 不联网排查终端报错 C3 重启后状态不丢 C4 数据格式升级不坏旧数据 C5 只读回答架构问题(可联网) C6 授权判断 C7 模型换代和选路(可联网) C8 长任务接着做 C9 并发、重试、崩溃恢复 C10 边读边算和缓存失效

每题 100 分:基本功能 50(不过就是 0) 藏起来的变体 25 做完和中断后接上 15 用工具和留证据的规矩 10

当初想解决什么、怎么用
想解决什么

AI 说“修好了”,可能只留下一段回答或半成品;界面上写着某个模型,实际跑的也可能是别的。想用同一套真实的编程题、各自隔开的文件夹和真正交出来的文件,查清“这个模型 + Codex”到底能干成什么,给选模型当参考。

1 定题

10 道题连成一次作答;题目和藏起来的检查先定死,开跑后不改

2 分开作答

每个组合一个空文件夹、同一份题;Codex 原生子代理、本机模型、云端接口三种接法

3 程序检查

在答题的 AI 之外重跑检查,每题 100 分

4 蒙眼评审

合格的答卷交给全新的 GPT-5.6 Sol(max 档),不告诉它是谁答的

5 出报告

程序分和评审分两栏并列、不相加;主排名看外部评测

我要做什么
  • 在负责它的 Codex 对话里说想测哪些模型
  • Antigravity 和 OpenCode 那几组:自己在界面里选好模型,粘贴 AI 写好的提示词
  • 想看一次任务花多少额度:先发一段固定的测额度提示词(1 题或 10 题版,叫“额度探针”),看界面上的额度,再发第二条删掉临时文件夹
10 道题

C1 跨几个仓库加功能 C2 不联网排查终端报错 C3 重启后状态不丢 C4 数据格式升级不坏旧数据 C5 只读回答架构问题(可联网) C6 授权判断 C7 模型换代和选路(可联网) C8 长任务接着做 C9 并发、重试、崩溃恢复 C10 边读边算和缓存失效

每题 100 分:基本功能 50(不过就是 0) 藏起来的变体 25 做完和中断后接上 15 用工具和留证据的规矩 10

全部旧功能(13 项,全部已停用)
图例:✕ 已停用

出题和作答

题库:
10 道真实的编程题连成一次作答;给答题的 AI 看公开材料,藏起来的变体只在检查时用;改题就算新一版 ✕
分开作答:
每个组合一个空文件夹、同一份题;旧文件、别次的成功、中断后拼起来的半成品都不算;取消后还要确认真停了 ✕
三种接法:
Codex 原生子代理、本机模型(经AI工具配置管理接进 Codex,显卡排队轮流用)、云端接口;一种失败不偷偷换另一种 ✕
带帮手作答:
一个主 AI 可以派 0–4 个子代理一起做,结果和单干分开算 ✕
外部工具交接:
给 Antigravity、OpenCode 准备好文件夹和一段提示词,本人在界面里选模型、粘贴 ✕
快速加新模型:
新出一个或一批模型,直接生成文件夹和提示词,不用先改整张计划表 ✕

检查和评审

核实答题者:
按 Codex 等工具自己留下的运行记录认定是谁在答、用的哪一档,不信模型自报 ✕
程序硬检查:
在答题的 AI 之外重跑公开和藏起来的检查,查功能对不对、有没有越界、是不是真做完 ✕
蒙眼评审:
每份合格答卷交给一个全新的 Sol 最高档,按正确、覆盖、证据、稳健、安全与范围、清晰好维护六个方面打 1000 分;看不到是谁答的、别人的答卷和价格 ✕
失败归因和挑选:
分清能力不够、题有毛病、环境坏了、证据缺了;样本不齐不排名,也不挑最好的一次 ✕

花费和报告

额度探针:
1 题短版、10 题完整版两段固定提示词:先跑,看界面上的额度,再发第二条删掉临时文件夹;不进成绩 ✕
三份报告:
模型证据卡(测的是谁、官方说法和价格)、实测报告(真做成了什么)、综合判断(该怎么选);设计好了,完整报告一直没出 ✕
给选模型当参考:
外部评测为主、自己测的为辅,大约七三开;只当参考,不自动改任何设置 ✕
全部旧功能(13 项,全部已停用)
图例:✕ 已停用

出题和作答

题库:
10 道真实的编程题连成一次作答;给答题的 AI 看公开材料,藏起来的变体只在检查时用;改题就算新一版 ✕
分开作答:
每个组合一个空文件夹、同一份题;旧文件、别次的成功、中断后拼起来的半成品都不算;取消后还要确认真停了 ✕
三种接法:
Codex 原生子代理、本机模型(经AI工具配置管理接进 Codex,显卡排队轮流用)、云端接口;一种失败不偷偷换另一种 ✕
带帮手作答:
一个主 AI 可以派 0–4 个子代理一起做,结果和单干分开算 ✕
外部工具交接:
给 Antigravity、OpenCode 准备好文件夹和一段提示词,本人在界面里选模型、粘贴 ✕
快速加新模型:
新出一个或一批模型,直接生成文件夹和提示词,不用先改整张计划表 ✕

检查和评审

核实答题者:
按 Codex 等工具自己留下的运行记录认定是谁在答、用的哪一档,不信模型自报 ✕
程序硬检查:
在答题的 AI 之外重跑公开和藏起来的检查,查功能对不对、有没有越界、是不是真做完 ✕
蒙眼评审:
每份合格答卷交给一个全新的 Sol 最高档,按正确、覆盖、证据、稳健、安全与范围、清晰好维护六个方面打 1000 分;看不到是谁答的、别人的答卷和价格 ✕
失败归因和挑选:
分清能力不够、题有毛病、环境坏了、证据缺了;样本不齐不排名,也不挑最好的一次 ✕

花费和报告

额度探针:
1 题短版、10 题完整版两段固定提示词:先跑,看界面上的额度,再发第二条删掉临时文件夹;不进成绩 ✕
三份报告:
模型证据卡(测的是谁、官方说法和价格)、实测报告(真做成了什么)、综合判断(该怎么选);设计好了,完整报告一直没出 ✕
给选模型当参考:
外部评测为主、自己测的为辅,大约七三开;只当参考,不自动改任何设置 ✕
演进(8 月 8 日—9 月 28 日,65 次提交)
8 月 8 日:
第一版:让 Codex 原生子代理答题,并记下到底是谁在答
8 月 11 日:
一天 16 次提交:撤掉自制的选模型路由,派子代理时直接指定模型和思考档;题库试跑关、留证据和打分的规则定下来
8 月 12 日:
八道题的第 10 版定稿
8 月 13 日:
第 11 版加两道新题成 10 道;GPT-5.6 的 Luna、Terra、Sol 和本机 Qwen 35B 四次试跑;计划从 13 个组合扩到 24 个;本人要求每个组合拿满 3 次有效答卷,四次试跑作废、全部重来
8 月 14 日:
第一份正式答卷;改成首份报告每个组合只取 1 次(Luna 最高档已有 3 次,按本人决定取中间那次);备好 Antigravity、OpenCode 的交接文件
8 月 15 日:
外部工具的答卷跑完打了分(Antigravity 13 份;OpenCode 交接后陆续加组合,跑了 11 份);同一天自查出方法和评分有问题,仓库改成私有
8 月 31 日:
最后一次提交;旧网站当天写:能拿来选模型的完整比较是 0
9 月 12 日:
本人决定冻结
9 月 28 日:
本人说明冻结原因
演进(8 月 8 日—9 月 28 日,65 次提交)
8 月 8 日:
第一版:让 Codex 原生子代理答题,并记下到底是谁在答
8 月 11 日:
一天 16 次提交:撤掉自制的选模型路由,派子代理时直接指定模型和思考档;题库试跑关、留证据和打分的规则定下来
8 月 12 日:
八道题的第 10 版定稿
8 月 13 日:
第 11 版加两道新题成 10 道;GPT-5.6 的 Luna、Terra、Sol 和本机 Qwen 35B 四次试跑;计划从 13 个组合扩到 24 个;本人要求每个组合拿满 3 次有效答卷,四次试跑作废、全部重来
8 月 14 日:
第一份正式答卷;改成首份报告每个组合只取 1 次(Luna 最高档已有 3 次,按本人决定取中间那次);备好 Antigravity、OpenCode 的交接文件
8 月 15 日:
外部工具的答卷跑完打了分(Antigravity 13 份;OpenCode 交接后陆续加组合,跑了 11 份);同一天自查出方法和评分有问题,仓库改成私有
8 月 31 日:
最后一次提交;旧网站当天写:能拿来选模型的完整比较是 0
9 月 12 日:
本人决定冻结
9 月 28 日:
本人说明冻结原因

复制 AI 续作说明

项目:AI 模型评测;仓库:codex-agent-model-benchmark;范围:整个项目;目标:(这里写这次要做的事)。先读项目的 AGENTS.md 和说明,按现行规则做。

把“目标”换成这次要做的事,整段复制给 AI。

完整尺寸