用途与实际影响
这项功能怎样使用
为什么需要它
为了观察额度和费用而临时运行的小任务,不能占用正式评测目录、反复重试或顺手删掉别的内容。
举个实际例子
我只想先看看一个新模型大概消耗多少额度和费用。它会做一次固定的小转换,让我在宿主界面里看清真实消耗;我确认完后再单独清掉这次临时目录,不把探针结果塞进排行榜。
最后我会得到什么
实际执行探针后,得到这一次宿主显示的额度、费用或耗时,以及哪些数字无法可靠换算;再单独核对只清理本次临时目录。它不产生能力结论。当前页面没有重新运行探针。
正常时
临时位置原本为空,小任务完成、宿主显示结果已观察,随后只清理这一次内容时,探针才闭合。
发现问题时
小任务失败就保留真实失败,不能反复抽样挑最好的结果。
入口不可用或证据不足时
临时位置已有内容或无法精确清理时停止,不覆盖或扩大删除范围。
从哪里开始
在 CACB 项目的 AI 对话中说只想观察宿主额度、费用或耗时,请先判断一题短探针是否够用。
需要准备什么
- 想观察额度、费用还是耗时
- 是否有必须使用较长探针的原因
从开始到拿到结果
- 1
系统核对并处理
先看一题能否得到可观察数据,必要时才运行十题版;探针与正式评测分开。
- 2
交付与接续
交回当场观察和精确清理回执;探针不进入能力分数,原目录已存在时不覆盖。
技术实现与依据
这里保留实现、关键条件、精确入口、历史记录和验证结果。
short/full prompt 与合同测试存在;本轮未实际运行探针,没有新的额度、费用、耗时或cleanup现场关键规则与设计选择
只观察额度/费用/耗时时不启动formal campaign。
先用1题确认最小路径,需要连续十任务观察才用10题。
执行和删除必须分成两条消息。
探针永不进入正式账本、分数、排名、报告进度或路由修正。
本模块用到的名词
- short probe(短探针)
- 一个固定离线任务,用最小工作量观察宿主额度、费用、耗时和执行路径。
- full probe(全探针)
- 十个固定任务加汇总验证,用于较完整的连续宿主观察,仍不是基准样本。
- probe namespace(探针命名空间)
- short/full各自唯一固定临时目录;存在时拒绝覆盖,观察后由第二条消息精确删除。
专业定义
在不创建正式样本、账本或分数的前提下,用一个或十个固定离线任务观察宿主界面的额度、费用与耗时;观察完成后用第二条消息只删除固定临时目录。
解决什么
解决轻量观察污染正式基准、旧目录覆盖、循环重试挑结果和清理范围失控。
当前怎样实现
- universal-quota-cost-short-v1.md 固定一个标准库JSON转换任务、一次最小修正和short namespace。
- universal-quota-cost-full-v1.md 固定十个同结构任务与aggregate验证;每题最多一次最小修正,失败保留真实状态。
- 两份prompt都把执行和cleanup拆开;cleanup禁止通配符、git clean、项目清理、父目录或兄弟目录删除。
执行流程
- 1
确认目的只是宿主观察
- 2
选择1题或10题固定prompt
- 3
确认对应namespace不存在
- 4
执行并保留临时产物
- 5
观察宿主UI与verifier
- 6
发送第二条exact cleanup
- 7
删除成功后结束且不进入正式链
边界
- 不读对话历史、父兄弟目录、Git、.agents或.codex
- 不联网、不安装依赖、不调用其他AI/API
- 不写formal receipt(执行回执)/ledger/score/ranking
- 不自动清理或扩大删除
- 网页不运行任何探针
失败与恢复
- 固定namespace已存在
- 立即停止,不覆盖、不改名;先完成上一轮观察与原第二条cleanup。
- 1题一次最小修正后仍失败
- 停止并保留真实失败与目录,不循环重试。
- 10题中一题仍失败
- 保留该题失败并继续其余固定题,不选优或重抽样。
- cleanup目标不精确或扩大到父目录
- 拒绝删除,只接受当前工作目录下exact short/full namespace。
真实入口
PRIVATE source · config/probes/universal-quota-cost-short-v1.md1题短探针、固定namespace与第二阶段清理
PRIVATE source · config/probes/universal-quota-cost-full-v1.md10题全探针、逐题失败保留、汇总与精确清理
PRIVATE source · tests/test_quota_cost_probe_prompts.py两阶段、零回执、零账本与exact cleanup回归
如何验证
- 两份 probe prompt 与 focused tests 在 e6f7581 历史观察代已经存在;该证据不继承到当前 59b0b5c。
- 当前 source 固定 short=1题、full=10题、各自namespace、每题最多一次最小修正和独立cleanup消息。
- 本轮未运行任何probe,因此没有新的宿主额度、费用、耗时或cleanup结果。
与其他模块的关系
这是退出 formal campaign 的独立宿主观察工具;完成cleanup后流程结束,不进入 campaign-workspace、deterministic-verification、blind-quality-review 或 failure-reporting 的正式结果。
