AI 模型评测原名 CACB(Codex 智能体能力基准)。原来想用同一套真实的编程题,让不同的 AI 模型在 Codex 里各答一遍,由程序查清它们真正做成了什么,再给选模型当参考。8 月 8 日开工,8 月 31 日最后一次提交,完整的比较报告一直没出。


每测一次都要花不少 AI 额度,自己出的题也测不准谁更强;日常用下来,哪个好用反而一清二楚。9 月 12 日冻结。四条原因,逐条看

选哪个 AI,看厂商公布的成绩和权威评测机构的排名。

私有仓库原样留着,没有计划任务要停。
冻结的项目,AI 不主动看、不维护:约法 L24

AI 模型评测
原名 CACB(Codex 智能体能力基准)。原来想用同一套真实的编程题,让不同的 AI 模型在 Codex 里各答一遍,由程序查清它们真正做成了什么,再给选模型当参考。8 月 8 日开工,8 月 31 日最后一次提交,完整的比较报告一直没出。

每测一次都要花不少 AI 额度,自己出的题也测不准谁更强;日常用下来,哪个好用反而一清二楚。9 月 12 日冻结。四条原因,逐条看

选哪个 AI,看厂商公布的成绩和权威评测机构的排名。

私有仓库原样留着,没有计划任务要停。
冻结的项目,AI 不主动看、不维护:约法 L24

四条原因本人 9 月 28 日说明的原因,翻成人话是下面四条。每条下面的浅色小字,是这个项目自己的记录里看得到的事实(AI 补的,不是本人的话)。
- 1太费额度
一个模型把 10 道题连着答完,输入就是 500 万–800 万 token、用时 18–25 分钟(8 月 13 日三个型号各试跑一次,都开最高档)。原计划 24 个组合各答 3 次,一共 72 次;每份合格答卷还要另开一个最高档的模型来评。
- 2外面已经有评测
项目自己的设计就把外部公开评测放在第一位:排名以外部评测为准,自己测的两栏分数只并列摆着、不参加排名;按质量和价钱挑模型时,也是外部评测占大头、自己测的只当小修正(大约七三开,是判断的轻重,不是公式)。
- 3自己出的题评不出能力
8 月 13 日试跑,自己出的 10 道题拉不开最强几个模型的差距,题目区分不出它们(这次试跑后来作废,分数不作结论)。项目规则也写着:大家都满分或都不及格时,只能报“分不出”,不硬造差距。
- 4平时用着就看得出来
每天在 Claude、Codex 里干活,一个模型靠不靠谱、常在哪里出错,看得见。项目自己也写明:没测过的模型照样正常派活,没评测不算零分。
四条原因本人 9 月 28 日说明的原因,翻成人话是下面四条。每条下面的浅色小字,是这个项目自己的记录里看得到的事实(AI 补的,不是本人的话)。
- 1太费额度
一个模型把 10 道题连着答完,输入就是 500 万–800 万 token、用时 18–25 分钟(8 月 13 日三个型号各试跑一次,都开最高档)。原计划 24 个组合各答 3 次,一共 72 次;每份合格答卷还要另开一个最高档的模型来评。
- 2外面已经有评测
项目自己的设计就把外部公开评测放在第一位:排名以外部评测为准,自己测的两栏分数只并列摆着、不参加排名;按质量和价钱挑模型时,也是外部评测占大头、自己测的只当小修正(大约七三开,是判断的轻重,不是公式)。
- 3自己出的题评不出能力
8 月 13 日试跑,自己出的 10 道题拉不开最强几个模型的差距,题目区分不出它们(这次试跑后来作废,分数不作结论)。项目规则也写着:大家都满分或都不及格时,只能报“分不出”,不硬造差距。
- 4平时用着就看得出来
每天在 Claude、Codex 里干活,一个模型靠不靠谱、常在哪里出错,看得见。项目自己也写明:没测过的模型照样正常派活,没评测不算零分。
当初想解决什么、怎么用AI 说“修好了”,可能只留下一段回答或半成品;界面上写着某个模型,实际跑的也可能是别的。想用同一套真实的编程题、各自隔开的文件夹和真正交出来的文件,查清“这个模型 + Codex”到底能干成什么,给选模型当参考。
10 道题连成一次作答;题目和藏起来的检查先定死,开跑后不改
每个组合一个空文件夹、同一份题;Codex 原生子代理、本机模型、云端接口三种接法
在答题的 AI 之外重跑检查,每题 100 分
合格的答卷交给全新的 GPT-5.6 Sol(max 档),不告诉它是谁答的
程序分和评审分两栏并列、不相加;主排名看外部评测
- 在负责它的 Codex 对话里说想测哪些模型
- Antigravity 和 OpenCode 那几组:自己在界面里选好模型,粘贴 AI 写好的提示词
- 想看一次任务花多少额度:先发一段固定的测额度提示词(1 题或 10 题版,叫“额度探针”),看界面上的额度,再发第二条删掉临时文件夹
C1 跨几个仓库加功能 C2 不联网排查终端报错 C3 重启后状态不丢 C4 数据格式升级不坏旧数据 C5 只读回答架构问题(可联网) C6 授权判断 C7 模型换代和选路(可联网) C8 长任务接着做 C9 并发、重试、崩溃恢复 C10 边读边算和缓存失效
每题 100 分:基本功能 50(不过就是 0) 藏起来的变体 25 做完和中断后接上 15 用工具和留证据的规矩 10
当初想解决什么、怎么用AI 说“修好了”,可能只留下一段回答或半成品;界面上写着某个模型,实际跑的也可能是别的。想用同一套真实的编程题、各自隔开的文件夹和真正交出来的文件,查清“这个模型 + Codex”到底能干成什么,给选模型当参考。
10 道题连成一次作答;题目和藏起来的检查先定死,开跑后不改
每个组合一个空文件夹、同一份题;Codex 原生子代理、本机模型、云端接口三种接法
在答题的 AI 之外重跑检查,每题 100 分
合格的答卷交给全新的 GPT-5.6 Sol(max 档),不告诉它是谁答的
程序分和评审分两栏并列、不相加;主排名看外部评测
- 在负责它的 Codex 对话里说想测哪些模型
- Antigravity 和 OpenCode 那几组:自己在界面里选好模型,粘贴 AI 写好的提示词
- 想看一次任务花多少额度:先发一段固定的测额度提示词(1 题或 10 题版,叫“额度探针”),看界面上的额度,再发第二条删掉临时文件夹
C1 跨几个仓库加功能 C2 不联网排查终端报错 C3 重启后状态不丢 C4 数据格式升级不坏旧数据 C5 只读回答架构问题(可联网) C6 授权判断 C7 模型换代和选路(可联网) C8 长任务接着做 C9 并发、重试、崩溃恢复 C10 边读边算和缓存失效
每题 100 分:基本功能 50(不过就是 0) 藏起来的变体 25 做完和中断后接上 15 用工具和留证据的规矩 10
全部旧功能(13 项,全部已停用)出题和作答






检查和评审




花费和报告



全部旧功能(13 项,全部已停用)出题和作答






检查和评审




花费和报告



演进(8 月 8 日—9 月 28 日,65 次提交)








演进(8 月 8 日—9 月 28 日,65 次提交)








复制 AI 续作说明
项目:AI 模型评测;仓库:codex-agent-model-benchmark;范围:整个项目;目标:(这里写这次要做的事)。先读项目的 AGENTS.md 和说明,按现行规则做。
把“目标”换成这次要做的事,整段复制给 AI。




