LLM Backend Toolkit 项目总览

用途与结果

最快了解这个项目

为什么需要它

直接把所有材料塞进主对话会挤占上下文；另开一个模型窗口又容易忘记它用了什么资料、是否真的完成。这里保留明确的任务编号、输入依据、结果和失败原因，让额外模型承担一件可验收的事。它自己不决定总目标，也不会因为某个模型不可用就偷偷换一个。

举个实际例子

帮我从这份几十页的公开技术说明中找出升级步骤和失败后的恢复办法，给我一张带原文位置的表。主 AI 选好资料和模型后提交任务，先继续做其他部分；稍后取回表格、引用行号、输入摘要和文件位置。模型失败会返回具体原因，主 AI 再决定修正请求、重试或亲自处理。

最后我会得到什么

得到短结果、可打开的完整本地文件和模型/输入/执行回执。只看状态可用纯只读入口，确需停止可通过命令请求精确取消，等进程树和GPU释放才算完成。桌面观察台仍只展示公开工作进度，不新增输入、停止或审批按钮，也不代替主AI验收。

正常时

所选模型按指定资料完成任务，交回回答或文件；主 AI 再核对它是否真的解决原问题。

发现问题时

回答不符、文件已改变、额度不足或等待超时时，留下原因和已有结果，不自动改用另一模型。

入口不可用或证据不足时

本地模型、登录凭据、显卡资源或获准云端服务缺失时，只说明这条路线暂不能做；配置存在本身不是完成证明。

从哪里开始

在已接入 LLM Backend（模型后端） Toolkit 的主 AI 对话中交代一件具体模型工作：给什么材料、要什么结果、是否只在本机处理。提交后保存任务编号，之后可查进度；电脑上的观察台显示可公开的处理过程。

需要准备什么

本次问题和要处理的文件
本地、指定模型或已允许云端的边界
期望输出及是否需要工具、图片或录音

从开始到拿到结果

1
先核对模型和材料能否走这条路线
系统根据本地或已允许云端的要求检查当前模型、文件来源和需要的工具，条件不符先说明。
2
提交并保持可追踪
后台任务固定输入并给出任务号，主 AI 可以继续其他事。
3
查询或取消精确任务
用任务号查看进度和结果；取消后还要核对执行与资源清理。
4
验收实际内容
交回模型输出、产物和适用边界；配置存在、进程活着或草稿出现都不等于工作完成。

从这些需求了解功能

从一个实际问题看它怎样处理、交回什么；当前能做到哪一步和仍有哪些限制，也写在对应说明中。

01模型与路线这件工作用哪个模型？失败时别替我换。先按这次材料和本地或云端限制选定明确模型；不能用就告知原因，不自动换成另一家。查看使用步骤与完整说明 02任务与输入把这份资料交给本地模型，做好了我再来取。提交后保存任务编号，回来只读查进度，完成时取回答和文件；若取消还要确认执行与显卡确实停止。查看使用步骤与完整说明 03材料与续问材料太长，只找和恢复步骤有关的段落；然后接着问一次。选取有行号的片段，保留指定文字；续问携带前轮任务编号、结果状态与短预览，不自动附带完整回执。查看使用步骤与完整说明 04智能体执行在这个目录里尝试修复代码，最后把测试结果交回来。用已登记的编程工具在指定目录实际改文件并跑检查，再交回修改和未通过的测试；一段文字答复不算完成。这份受控本地工作单能开始或取消了吗？先查目标模型、目录和工具是否已就绪；取消必须确认原进程已经停，不把“收到取消”当成结束。查看使用步骤与完整说明 05媒体处理先识别这张扫描页的文字，再归纳要点。精确文字先交 LocalOCR，释放 GPU 后再调用模型。查看使用步骤与完整说明 06调用观察台我想看看额外模型在做什么，有没有真的回答完。观察台显示公开进度、失败草稿和最终答复，缺失信息留空。查看使用步骤与完整说明 07探测与验证这个模型刚换过，先用一个小例子看看能不能按要求输出。选一件固定小题真正运行，并独立核对答案；结论只属于这次模型和测试，不自动改变默认。查看使用步骤与完整说明

这件工作交给哪个已登记模型

先决定材料留在本机还是明确发给外部服务，再选择模型。下面说明入口分工，不替代当前任务的效果验收，也不是更大就更好的排名。

先在本机处理材料、图片或一项明确任务

Qwen3.8 27B；当前默认本地模型。

给出该任务的回答或文件，主AI再核对原材料与验收条件。

本地配置允许先预检再有界使用；本轮没有重新验证模型权重或真实任务效果。

拿另一套本地结果做对照

Qwen3.6 35B；明确选择的交叉检查模型。

独立回答同一问题，帮助发现分歧；不是自动替换27B。

不会自动兜底；与27B相同的结论也不能当作正确性证明。

明确选用已登记的修改版模型

Qwen3.8 27B 去限制版、Qwen3.6 35B 去限制版。

使用所选版本自身的回答行为，不把它悄悄换回普通版。

两个版本都需明确选择；35B修改版不支持视觉，名字不代表质量更好或任何任务都适合。

明确允许把这一份材料交给云端

Qwen3.7 Flash 或 DeepSeek Flash；直接调用路线。

在获准的外部服务取得回答，返回准确模型与结果。

两条路线都没有因此获得工具型Agent验收；本地失败不自动上传，不凭配置存在声称额度或调用成功。

考虑额外的官方编码模型候选

GPT-5.3 Codex Spark；保留的显式候选。

可以先查看其历史证据与当前接入条件，再决定是否另做有界验证。

旧任务曾达到步数上限而未完成，不作为默认推荐；本轮未做新的云端调用。

项目指标与相关入口查看规模、覆盖范围和关联能力

当前项目指标

默认调用: 本地 Qwen3.8 27B
任务方式: 异步提交 · 按需取结果
模型选择: 显式选择 · 不自动换道
工作过程: 桌面只读观察台

它负责

接收一件具体工作，保存本次材料、任务编号、结果和失败原因。
在已有模型路线之间按明确限制选用，整理长材料并显示安全的公开进度。
把需要编程工具、显卡、文字识别或录音转写的部分交给各自现有工具处理。

它不负责

它不替主 AI 决定长期目标或接受最终结果。
模型失败不自动换另一家，也不把未获准的材料送到云端。
不收集所有 Codex 或第三方聊天窗口的历史。
私人材料、隐藏推理、识别正文和密钥不发布到网站。

产品思想与设计核心

主 AI 掌握目标和验收

额外模型只做分配给它的工作。结果是待核对的材料，不因工具返回成功就自动成为最终结论。

一条路失败，不改送别处

默认只选已登记的本地模型。其他模型须明确选择；若要把这次材料交给外部服务，还要得到本次允许外发的明确要求。

长结果留在文件里，聊天里给要点

长材料先按问题选相关片段，长输出留成本地完整文件。答复说明哪些材料被省略或缩短，不把估算节省量说成真实账单。

没看到最终答复就说还没有

观察台只展示真的收到的公开进度；程序还在、配置可用或只有草稿都不证明工作完成。

它实际读取什么，又把什么交回来

输入来自本次明确提交的任务和文件，不会扫描整个电脑或偷听其他模型窗口。

本次请求与 UTF-8 文本文件

这次写明的目标、限制和选中的文本文件；需要核对时再看文件内容是否改变。

挑出相关段落并给出处；所选模型只接收这次任务需要的材料。

选中的图片或音频

一般图片、需要精确文字的扫描件，或指定录音。

按选择使用模型原生视觉、LocalOCR 或 ChineseASR；专项识别结果用于本次后续处理，原始私人内容不进入公开观察事件。

当前模型与编程工具设置

核对实际模型、服务地点、使用权限和可用证据。

判断能否走这条已经实现的路线；缺少条件时说清原因，不猜另一条可用。

本次后台工作的公开状态

只读取已产生的进度、答复、工具活动和用量信息。

任务编号可用于查看或精确取消；累计用量、当前进度和最终结果分别显示。

项目怎样演化到现在

2026-07

额外模型的结果可以追溯

从直接调用发展为有编号的任务，保留输入、结果文件与失败原因；主任务仍负责最终采用。

2026-08

长任务能观察和接续

只读观察台显示真实进度，材料和后续提问有明确来源；界面不接管审批、输入或停止业务。

2026-09-18

看状态不再顺手改变任务

零调用诊断、纯只读任务查询和精确取消分开；缓存只收完整且身份对应的成功结果，任务受理、执行结束和资源释放分别核对。

阶段依据

2026-09-18 · 看状态不再顺手改变任务e0d0051

完整项目状态与证据边界

可零写入诊断、只读查看和精确取消；当前模型配置不冒充真实任务验收2026-09-19 02:23（中国时间）

已确认事实

local-default当前为qwen3.8-27b:256k，基座qwen3.8:27b、Q4_K_M、262144上下文、32768输出，默认推理开启；配置digest为8040835723046ec2631b64b960d44414636ea5147942a7d68eaaa7ccdb492e20。9月18日diagnose读取的是目录与实际包来源，identity_verification=not_checked，不把配置摘要冒充运行时权重回读。
submit提交、invoke同步等待，均进入同一任务和输入生命周期；jobs分页列元数据，inspect按编号纯只读看状态和显式请求的结果。兼容job（任务记录）可能恢复或清理，cancel按确切运行句柄请求停止，不能把它们都叫只读查询。
当前27B的data_factory/codex-cli以及普通35B、两种去限制版的Codex路线标为configured、live_verified=false、configuration_sync_no_e2e；允许按现有合同有界使用，但没有通用Live声明。Claude/Qwen Code/OpenCode的旧模型路线继续pending_reacceptance。历史成绩、AICLI桌面成功和注册表配置不能互相替代。
9月7日370/370、99.642秒为原版本历史；AICLI Owner的9月17日联动归档记录隔离候选Unit442/442与Toolkit408/408、真实合成材料读写回读和取消清理。严格JSON任务带额外说明文字时正确返回partial而不缓存。这是具体调用链证据，本网页未重跑来源套件。
PUBLIC（公开） wlyaaaaa/llm-backend-toolkit，main与远端回读e0d005182265f23ffb9286853b18649f3356cce1。实际.venv解释器与src/llm_backend_toolkit包为0.9.2；9月18日诊断规范化目录SHA-256为f573b017a2d16eb3e1d4a00fda51e41a919363e0621d809bdcf9ea044bfc16b6，zero_write=true，network_performed/model_invoked/materials_read/job_created均为false。

当前缺口

35B当前模型为qwen3.6-35b:256k，Codex路线仅configured/unverified；8月21日旧qwen-main-v1的capture_exception失败仍是历史，不等于当前重新验收。旧README/专题段落未同步动态标签，当前模型与参数按注册表及诊断读取。
Claude Code、Qwen Code、OpenCode的旧Agent路线仍pending_reacceptance；旧云端Qwen Agent不在可选目录。普通configured允许有界使用但不是模型能力保证，不能与这些明确待验收路线混同。
cloud-qwen-flash、cloud-deepseek-v4-flash 的协议和错误分支使用 mock（替身响应）验证；fast-middle-agent 的 Spark 在 2026-07-29 冻结题上达到 81/80 步后硬停，只得 2/9，保留为显式候选而非自动推荐。本次未验证任何云端额度、凭据、模型输出或延迟。
LocalAsyncWorker 是另一条受控本地工作单 API：start/wait/cancel/result 合同已实现，但初始 configured_unverified；没有完整运行绑定时保持 not_ready。它不是原生子代理，也不与普通 submit 的可用性混为一谈。
本次未打开生产观察台运行一个新模型任务；源码测试和既有历史页面验收不能证明当前任务栏图标、整场真实多轮表现或所有设备状态。
带声明的外部输入在非 Windows 系统缺少等价不可变路径绑定时会拒绝运行；没有强行扩成跨平台通用文件保护方案。

来源与公开边界

公开仓库包含工具代码、协议、虚构样例和非敏感验收说明。真实任务、输入副本、结果、媒体、提示词和凭据留在各自本地或获准提供方，不进入本网站。明确允许云端时，所选内容会发送到该提供方，不能宣称所有调用都不出本机。

当前关键技术事实

当前默认模型: local-default当前为qwen3.8-27b:256k，基座qwen3.8:27b、Q4_K_M、262144上下文、32768输出，默认推理开启；配置digest为8040835723046ec2631b64b960d44414636ea5147942a7d68eaaa7ccdb492e20。9月18日diagnose读取的是目录与实际包来源，identity_verification=not_checked，不把配置摘要冒充运行时权重回读。
任务和资料: submit提交、invoke同步等待，均进入同一任务和输入生命周期；jobs分页列元数据，inspect按编号纯只读看状态和显式请求的结果。兼容job（任务记录）可能恢复或清理，cancel按确切运行句柄请求停止，不能把它们都叫只读查询。
当前路由证据: 当前27B的data_factory/codex-cli以及普通35B、两种去限制版的Codex路线标为configured、live_verified=false、configuration_sync_no_e2e；允许按现有合同有界使用，但没有通用Live声明。Claude/Qwen Code/OpenCode的旧模型路线继续pending_reacceptance。历史成绩、AICLI桌面成功和注册表配置不能互相替代。
离线验证: 9月7日370/370、99.642秒为原版本历史；AICLI Owner的9月17日联动归档记录隔离候选Unit442/442与Toolkit408/408、真实合成材料读写回读和取消清理。严格JSON任务带额外说明文字时正确返回partial而不缓存。这是具体调用链证据，本网页未重跑来源套件。
源码身份: PUBLIC（公开） wlyaaaaa/llm-backend-toolkit，main与远端回读e0d005182265f23ffb9286853b18649f3356cce1。实际.venv解释器与src/llm_backend_toolkit包为0.9.2；9月18日诊断规范化目录SHA-256为f573b017a2d16eb3e1d4a00fda51e41a919363e0621d809bdcf9ea044bfc16b6，zero_write=true，network_performed/model_invoked/materials_read/job_created均为false。

完整执行流程

1
划清这一件工作
主 AI 给出问题、输入、限制、期望结果，选择本地或已明确允许的云端路线。
2
提交后继续其他事
submit 返回 job_id；需要同步等待的旧调用可用 invoke，两者进入同一套受管生命周期。
3
固定本次输入并处理资料
worker（后台执行进程）捕获外部文件，校验声明，整理文本或调用专项媒体工具，再让所选模型处理。
4
取回结果并核对
只看进展用inspect --id，取结果加--result；需要完整输出时用原有job（任务记录） --full-result并明确它可能维护状态。取消走cancel --id，必须等清理确认，不能把受理当作完成。

本页用到的名词

需要核对专业含义时，可以在这里查看它在 LLM Backend Toolkit 项目中的具体用法。

Backend（后端）: 实际接收请求的模型及其提供接口。
JobStore（任务存储）: 保存每次工作状态、结果和事件的本地目录管理层。
Spool（本次输入副本）: 实际调用前固定下来的文件副本，生命周期结束后清理。
Portable continuation（可携带续问）: 携带前轮编号、结果状态与短预览，形成有限次的新请求，不自动附带回执或依赖厂商隐藏会话。
Current evidence（身份仍匹配的证据）: 已有回执与本次检查的模型身份对应，不表示今天又运行了该任务。

系统里实际有什么

下面是当前产品组件，不是概念分类。每一项都对应真实文件、入口或验证链。

backends.py / default_backends.json

模型与路线事实

可替换 backend（模型后端）、adapter（执行适配器）、端点环境变量、模型、agent route（处理路线）和有效证据。

context.py / sources.py

输入整理

确定性 token 预算、固定保留内容、UTF-8 分块检索、源行号和摘要。

jobs.py / input_integrity.py / input_lifecycle.py

异步任务与文件生命周期

任务认领、受管输入副本、缓存身份、lease（执行占用记录）、终态和清理。

agent_runners.py / worker_contract.py

已有 CLI（命令行工具）智能体路线

精确 AICLI 配置、权限和 watchdog（超时监视）预算；不创建新模型代理协议。

media.py / providers.py

媒体与模型接口

原生视觉、专项 OCR（光学字符识别）/ASR（自动语音识别）、Ollama 和 OpenAI Chat 兼容协议。

observer.py / observer_ui / LlmBackendObserverHost

只读观察

本机 HTTP/SSE（服务端更新信号）、WinForms（Windows 窗体）和 WebView2（嵌入网页控件）。

当前数据合同与写读边界

后端注册表

llm-backend-toolkit.backends.v1

backends.py：默认本地、兼容 alias、能力与 exact-model（精确模型）证据分离；禁止内嵌凭据和自动 fallback（改投其他后端）。

请求、结果和工作单

schemas/request.schema.json · response.schema.json · worker-contract.schema.json

Toolkit / JobStore：task、context、privacy、execution、continuation 和各类结果回执；JSON 字段名不等于真实运行证明。

可复用结果身份

cache identity v2 · stdlib-json-sort-compact-utf8-v1

jobs.py：可变外部引用默认不命中；显式语义 key 绑定模型、路线、隐私及输出协议，只公开调用 key 的 hash（内容指纹）。

Agent 验收

aicli.agent.acceptance-receipt.v1

AICLI：Profile 指纹、模型 artifact、运行身份、非平凡任务与独立 verifier（结果检查器）必须对应；换模型不能继承旧证据。

3 层证据分别证明什么

来源回归与具体联动任务

能证明：9月7日370项旧回归与9月17日Owner408项Toolkit隔离候选回归分别留证；具体合成材料读写与取消验证不扩张为全部模型通用能力。

不能证明：没有新模型回答，不证明云端额度、外部服务所有状态或用户当前窗口。

9月18日零写入运行诊断

能证明：0.9.2实际解释器、包、规范化注册表、当前27B/32100配置和configured状态一致；没有联网或读取任务材料。

不能证明：未检查运行时权重、启动模型、创建工作单或提供方回答；不能据此写成GPU空闲、当前任务已完成或全部路线Live通过。

注明日期的历史模型与页面验收

能证明：对应模型、CLI（命令行工具）、工作单和结果曾通过；观察台已有真实事件/页面验收。

不能证明：不能推广到新版本、35B 或未登记路线；历史搜索调用成功不等于上游返回了有效搜索结果。

维护入口

llm-backend-toolkit backends

列出模型路线：读取注册表元数据，不生成回答。

llm-backend-toolkit diagnose --backend local-default

零写入检查有效入口：只读配置、包与接口事实，不联网、不读任务材料、不创建任务或生成回答；status另用于后端的有界现场状态。

llm-backend-toolkit submit --request request.json

提交任务：立即返回编号；--force 明确创建新尝试。

llm-backend-toolkit inspect --id <job_id> --result

取回结果：显式纯只读查看本次结果；jobs --limit 50支持返回游标分页，cancel --id请求停止。旧job（任务记录） --full-result仍支持完整输出，但job（任务记录）不是纯只读维护入口。

pwsh -NoProfile -File scripts/Start-LlmBackendObserver.ps1

打开观察台：打开已有只读本机窗口；正式 Skill 在提交前确保观察入口可用。

pwsh -NoProfile -File scripts/Install-LlmBackendObserverShortcut.ps1 -Remove

移除观察台入口：仅删除能证明属于本项目的桌面和开始菜单快捷方式。

快照怎样更新

本页代表最后一次明确核对并发布的项目状态，不承诺后台实时同步。再次更新时会重新读取该项目当前事实、边界和验证结果；无法确认的内容继续明确标成网页快照边界，不用旧记录猜成当前状态。