Skip to content

Latest commit

 

History

History
428 lines (329 loc) · 26.6 KB

EVALUATION.md

File metadata and controls

428 lines (329 loc) · 26.6 KB

Thinloop 评测

当前版本三臂整体价值评测

evals/thinloop/ 为当前 Thinloop 提供一个独立、版本化的三臂行为评测。它不把 Knowledge、Discovery 或历史 Dev Loop 的结果重新包装成当前整体结论,而是在同一 模型、任务和隔离方式下只改变 Thinloop 上下文:

  1. native:不安装 Thinloop,不增加额外提示;
  2. prompt:只增加固定的“验证并保存进度”短提示;
  3. thinloop:只安装当前工作树的十二个规范 scd-* Skill。

manifest.json 固定三臂和七类任务:清晰 Bug、定义不足功能、多 Issue 项目、中断 恢复、无关脏改动、页面验收,以及测试绿但行为未闭合。每个 subject 使用独立 fixture Git 仓库和临时 Codex Home;临时 Home 在运行后删除。保存结果经过认证值与常见密钥 形态脱敏/扫描,冻结完整评测定义和源提交,并把公开评分所需事实保存到 observations/,因此可以在没有模型、认证或临时仓库时独立重评分。

公开指标包括最终验收、无证据完成声明、范围泄漏、恢复成功、用户打断请求、耗时、 Token、成本、工具调用和高风险越权信号。成本不会根据记忆或“常见价格”推算;只有 运行者同时提供明确的输入/输出每百万 Token 单价时才计算,否则保持 null 并说明 不可确认。聚合只报告分子/分母和观测总量,不自动生成效果百分比。

运行层次严格分开:

  • dry 验证定义、七个 baseline fixture、known-good / known-bad 评分、自聚合和秘密 扫描;不读取认证、不调用模型;
  • smoke 固定运行一个“测试绿但行为未闭合”用例的完整三臂,共三次真实 subject;
  • full 运行七类任务的全部三臂。浏览器用例必须额外提供每个条件的真实交互、视口、 可见文本、控制台、网络和产物引用;缺失时直接 BLOCKED,源码或测试不能替代。

普通 CI 只运行 node evals/thinloop/validate.mjs 与 node evals/thinloop/runner/run.mjs --mode dry,不调用付费模型。真实结果中的行为 FAIL 是有效观察,不会被混同为基础设施失败;认证、配额、模型进程或浏览器路径 不可用时为 BLOCKED;秘密扫描失败则整轮不能发布。单次 smoke 和单一模型只支持 对应 fixture 的描述性事实,不构成统计显著性或 Thinloop 整体有效性结论。

当前真实 smoke

2026-08-30 使用 Codex CLI 0.143.0、gpt-5.4、medium reasoning 运行了 issue-74-smoke-f075dfe-20260830。源提交为 f075dfebe94b362b166627ee01694fa9b68c897f,运行时工作树为干净状态;三个条件各 执行一次同一个 false-completion-audit fixture,均完成真实模型 turn,且不是 dry:

条件 隐藏行为验收 耗时 输入/输出 Token 工具调用 无证据完成 范围泄漏 越权信号
native PASS 151999 ms 67859 / 1980 13 0 0 0
prompt PASS 150645 ms 67886 / 1923 13 0 0 0
thinloop PASS 153439 ms 125068 / 1998 13 0 0 0

三次 subject 都修改了 src/escape.mjs 和 test/escape.test.mjs,原生测试与独立 隐藏输入 it's 均通过,没有额外提交、范围外文件或用户打断请求。整轮状态为 OBSERVED;秘密扫描为 0 个发现;从保存的脱敏 observations/ 独立重评分后仍为 OBSERVED。未提供可验证的模型单价,因此成本保持不可确认,没有从 Token 猜测金额。

完整证据保存在仓库外: /Users/carver/workspace/mindcarver/.worktrees/test/thinloop-current-eval/runs/issue-74-smoke-f075dfe-20260830。 运行后分支 rebase 到包含 Issue #75 路由内核的 bc34771;该并发变更没有修改 skills/** 或 evals/thinloop/**,因此不把它描述为新的模型观察,也没有用 rebase 后的 dry 替代上述真实结果。

这轮最小 smoke 的直接结论是:三个条件在该固定的“测试绿但单引号行为未闭合”用例 上都修复并验证了目标行为,没有观察到 Thinloop 的相对增益。它没有覆盖其余六类任务、 真实浏览器、重复样本或其他模型,不能据此计算效果百分比、成本优势或整体价值结论。

scd-evolve 0.6.1 评测计划

tests/evolve-contract.test.mjs 验证显式触发、可见证据覆盖、实际使用目标、 单批候选、候选 ID 审批、权威源码解析、缓存拒绝、历史状态机、隐私阻断、 补丁版本和跨运行自进化边界。JSON Schema 与确定性脚本分别提供共享格式和 可执行不变量。

静态契约和脚本测试不单独证明 Agent 会正确归因。发布行为结论前,还必须在 一个全新隔离会话中验证:普通开发不会自动触发;明确复盘请求只输出一个候选且 不写文件;没有实际使用 Thinloop Skill 时停止;批准前不修改源码;行为型候选 要求独立前向测试,无法执行时保持 trial-unverified。

2026-07-27 使用 Codex 0.143.0、--ephemeral --ignore-user-config --sandbox read-only 和只暴露 scd-evolve 的临时 Skill 根运行了一次全新 会话。输入明确说明只提供互动摘录、曾显式调用 scd-discovery 但 Agent 跳过 并被用户纠正。结果标记 partial,只生成一个 exploratory 候选,列出匹配与 未匹配信号、Agent 误归因可能、单文件候选 diff、独立会话验证和候选 ID 审批 语句;没有实施或写文件。

这次前向测试证明该明确复盘用例能停在候选审批边界,不证明普通开发永不误召回, 也不证明任意对话的因果归因正确。其余负向路由仍由契约测试覆盖,后续可增加真实 成对会话评测。

历史平台兼容性快照(2026-07-27)

以下 WorkBuddy、ZCode、OpenCode 与 Claude Code 结果记录的是 2026-07-27 当日的 六 Skill 仓库快照和当时运行时,不是当前十二 Skill 的安装或行为状态。当前仓库的 十二 Skill 与九平台结构由 config/platform-capabilities.json 和确定性测试校验; 这些当前结构检查不能追溯性地把下列六 Skill 实机观察改写成十二 Skill 实机证据。

WorkBuddy 兼容性边界

WorkBuddy 5.3.5 内置 CodeBuddy CLI 2.115.0,并在内置插件中实际使用 .codebuddy-plugin/plugin.json、skills/ 与 hooks/hooks.json。Thinloop 因此提供 .codebuddy-plugin/plugin.json 和 .codebuddy-plugin/marketplace.json,共享当时仓库快照中的六个 Skill,不复制 Skill 内容。

2026-07-27 使用 WorkBuddy 应用包内的 CLI 分别运行 plugin validate .codebuddy-plugin/plugin.json 与 plugin validate .codebuddy-plugin/marketplace.json,两项均通过。 随后用 --plugin-dir . --tools "" 启动同一运行时且不发起模型任务;运行日志 将当时被测仓库识别为 thinloop@inline,加载出六个 scd-* Skill 和两个 Hook, Hook 配置也成功载入。 tests/plugin-compatibility.test.mjs 验证版本、Skill 源、Marketplace 和专用 Hook 路径;tests/check-state.test.mjs 验证 WorkBuddy Stop 返回 { "continue": false, "reason": "..." },而不是已弃用的 decision: "block"。

该结果证明当日本机 WorkBuddy 运行时能解析插件结构、发现 Skill 与 Hook,并 接受对应协议;不证明自动 Skill 召回率或复杂任务端到端行为。

ZCode 兼容性边界

ZCode 优先读取 .zcode-plugin/plugin.json,并从插件根目录加载 skills/ 与 Hook。Thinloop 还在仓库根目录提供 marketplace.json,可通过 ZCode 的自定义 Marketplace 安装本地路径或 GitHub 仓库。

2026-07-27 在 ZCode App 3.5.2、CLI 0.15.2 上,通过临时工作区配置把当时被测仓库 作为 inline 插件加载。zcode plugins list --json 报告原生清单版本 0.6.0、 6 个 Skill、1 个 Skill 根目录,以及两个可运行 Hook:

  • Stop:复用 hooks/check-state.mjs,以 { "decision": "block", "reason": "..." } 请求 Agent 补齐不可恢复状态;
  • SessionStart(compact):压缩后以 additionalContext 恢复缺失状态信息。

同一隔离配置下运行 zcode skills list --json,六个 scd-* Skill 全部从 Thinloop 插件源发现。tests/check-state.test.mjs 覆盖 ZCode 的 Stop 阻断与 压缩后上下文协议;tests/plugin-compatibility.test.mjs 覆盖三端版本一致、 Marketplace、Hook 映射和共享命令路径。

同日通过 ZCode 实际 Settings → Plugins 界面添加当时仓库路径后,个人 Marketplace 登记为 thinloop、pluginCount: 1,切换到 Personal 筛选可见 thinloop 安装卡片。使用 mindcarver/thinloop 的远程路径时,本机网络环境在 GitHub clone 90 秒后超时,因此远程安装未确认;本地 Marketplace 解析与发现已 确认,但尚未点击安装。

当日观察到的限制:Codex 依赖标准 hooks/hooks.json 中的 PreCompact; ZCode 不支持该事件,因此加载共享文件时产生 plugin_hook_unsupported_event warning,并跳过这一项。实机输出同时确认 ZCode 的 Stop 与 SessionStart 仍为 runnable,六个 Skill 正常发现。这里的 通过只证明结构、发现和协议适配,不证明自动 Skill 召回率或复杂任务中的端到端 行为。

OpenCode 兼容性边界

OpenCode 原生从 ~/.config/opencode/skills/<name>/SKILL.md 发现全局 Skill, 并通过 skill 工具按需加载。Thinloop 的安装说明把同一份 skills/ 源链接到 该目录;当时版本的 tests/opencode-compatibility.test.mjs 验证六个 Skill 的目录名、 frontmatter 名称、允许字段、名称格式和描述长度符合 OpenCode 契约。

2026-07-27 在 OpenCode 1.17.7 上使用隔离的 XDG_CONFIG_HOME,同时禁用 Claude / Agents 外部 Skill 扫描后运行 opencode debug skill --pure,六个 scd-* Skill 均从隔离目录被发现。这证明原生发现和解析有效,不证明自动选择 召回率或复杂任务行为。

OpenCode 插件提供 session.idle 事件和压缩上下文扩展,但当日官方接口没有与 Codex / Claude Stop Hook 等价的可取消完成输出。因此当时版本不模拟阻断语义,也不 把 Skill-only 安装描述为连续性 Hook 已覆盖;OpenCode 中的状态维护仍依赖 scd-dev-loop / scd-discovery Skill 自身的连续性契约。

Claude Code 兼容性边界

当时的 Claude Code 与 Codex 共享 skills/ 下的六个 Agent Skill,但插件清单、Hook 路径变量和阻断输出使用各自的运行时协议。Claude Code 支持由以下检查证明:

  • claude plugin validate . --strict 验证 marketplace、插件、Skill 与 Hook 结构;
  • 当时版本的 tests/plugin-compatibility.test.mjs 验证双端清单版本一致、共享同一 Skill 源,并使用 Claude Code 的 Hook 路径;
  • tests/check-state.test.mjs 分别验证 Codex 的 continue: false 和 Claude Code 的 decision: "block" 输出。

2026-07-27 在 Claude Code 2.1.197 上禁用工具,分别通过 --plugin-dir 调用 /thinloop:scd-dev-loop、通过个人 Skill 链接调用 /scd-dev-loop;两次真实 单轮结果都正确返回了该 Skill 的证据规则,且未修改文件。这证明插件与个人 Skill 可以被实际加载,不证明自动路由召回率、复杂任务行为或 Hook 在真实中断 任务中的端到端效果。

截至 2026-07-27,Discovery 正式评测仍是 Codex-only:它隔离 CODEX_HOME、解析 Codex JSONL 并使用 codex exec。在新增独立的 Claude Code 隔离运行器和真实成对结果 前,不把下面的 Codex 行为分数描述为 Claude Code 行为证据。

scd-maintenance 0.1.0 评测计划

tests/maintenance-contract.test.mjs 验证手动触发、审计与修复边界、事实源判断、证据格式、删除安全和小批修复约束,并在临时仓库中实际运行确定性信号收集器。

这些检查证明契约和收集器按预期工作,不代表 Agent 已经能在任意仓库中完整发现技术债。发布行为结论前,仍需在隔离的新会话中验证:

  • 普通功能开发不会隐式触发全仓库维护;
  • 只读 Audit 不修改仓库;
  • 代码与批准规格冲突时不会盲目把代码当作事实源;
  • 词法信号不会未经复核升级为已确认债务;
  • 宽泛清理请求只处理有共同验证面的前三个问题;
  • 删除动态加载代码前能够识别证据不足并停止;
  • 每个修复发现都对应实际运行的验证证据。

scd-knowledge 0.13.0 质量与行为评测

evals/knowledge-cases.json 定义 22 组显式触发、资格、事实校验、沉淀、查询、生命周期、交付后复盘、安全和写入失败场景。node evals/validate-knowledge-cases.mjs 验证用例结构;tests/knowledge-contract.test.mjs 验证个人、显式、强确认边界,以及语义、位置、行为三类发现障碍的证据与治理契约。

静态契约不证明知识改善了 Agent 行为。evals/knowledge/ 另提供 5 组隔离的真实成对用例,在固定任务、Fixture、gpt-5.4、high reasoning、沙箱和 Skill 的前提下,只改变项目知识是否存在:

  • 三个适用用例分别覆盖项目黑话、非直觉入口和反直觉 stop-hook 机制;
  • 两个保护用例注入不存在的方法和 Windows-only 边界,要求 Agent 拒绝错误应用;
  • 每次 Subject 后运行公开测试、仓库变更边界和独立隐藏检查;
  • 至少一个适用用例必须“无知识失败、有知识通过”,且全部有知识用例必须通过;
  • 召回、引用、任务成功和验收不单独作为因果证据。

运行器复制登录材料到每次新建的临时 Codex Home,只安装当前工作树的 scd-knowledge,关闭工具网络和无关能力,保存脱敏结果后删除临时 Home。dry 不调用模型,smoke 运行一组收益与一组保护配对,full 运行全部五组配对。行为结论只能引用成功完成且秘密扫描通过的具体运行。

2026-07-31 首轮完整运行

  • Run ID:issue-42-full-2;10 次 Subject,无基础设施失败或秘密扫描发现。
  • 有知识条件 5/5 通过;三类适用知识均为“无知识失败、有知识通过”。
  • 不存在的方法与 Windows-only 边界在有知识和无知识条件下均被拒绝,没有观察到保护用例退化。
  • 三个适用用例的隐藏结果分别确认生产 rehearsal flag 被正确关闭、Spark 使用 runtime entry、stop hook 在 reporter 永不返回时仍能结束。

这是一轮固定 Fixture、单次重复的初始因果证据,只支持这些受控用例中的行为差异;它不证明跨模型稳定性、长期效果或所有真实项目场景都已覆盖。完整脱敏证据保存在默认仓库外评测工作区,不随插件发布。

scd-discovery 0.2.0 真实成对评测

结论

2026-07-26 的第一轮正式评测未达到发布门槛。scd-discovery 在复杂需求上相对基线更受匿名裁判偏好,但仍会过早请求整体批准、一次捆绑多个 独立决定,并在完整规格上提出多余问题。因此,本轮结果只能证明方向有改善, 不能声明需求发现行为已经可靠。

方法

  • 基线:commit 3141d81,只安装 scd-dev-loop。
  • 候选:commit bcdee83,安装 scd-discovery 与 scd-dev-loop。
  • 用例:CLI、Web、API/Data 各包含 clear、underdefined、complete 一例, 共 9 例。
  • 每例在基线和候选条件下各重复两次,共 36 个真实 codex exec Subject 运行和 18 个匿名 A/B 裁判。
  • Subject、模拟用户和裁判均固定为 gpt-5.6-sol;Subject 与裁判使用 high reasoning,模拟用户使用 low reasoning,service tier 为 priority。
  • 每次运行使用独立 fixture 仓库和临时 CODEX_HOME。Subject 看不到隐藏 事实表、条件名称或评分规则。
  • 发布通过数同时要求确定性检查和匿名语义裁判通过;uncertain 不计成功, 也不静默算作产品失败。

发布门槛

门槛 结果 观察
候选零关键违规 未通过 6 个关键违规
候选零不确定运行 未通过 5 个模拟用户无法从事实表回答
Clear 通过 6/6
Complete 未通过 1/6
Underdefined 未通过 0/6,要求至少 5/6
Underdefined 候选偏好 通过 5/6,要求至少 4/6
Underdefined 基线偏好 通过 0/6,要求至多 1/6
秘密扫描 通过 0 个发现

36 个 Subject 的确定性结果合计为 14 个通过、17 个失败、5 个不确定。 候选的 6 个关键违规包括 4 次在必需决定未齐时请求整体批准、1 次把多个独立 决定放进同一轮,以及 1 次在完整规格上重复提问。

观察

  • 清晰小任务保持了预期的零打扰路径:候选 6/6 均在一轮内结束,没有额外 Discovery 状态或实现修改。
  • 在 underdefined 任务上,候选通常比基线覆盖更多产品边界,因此匿名裁判在 5/6 配对中更偏好候选;但“相对更好”没有抵消硬失败,候选最终为 0/6。
  • Complete 候选结果为 1 个通过、1 个明确失败和 4 个不确定。4 个不确定均因 Subject 追问了隐藏事实表无法回答的问题;它们没有被包装成成功。
  • 所有条件都没有在批准前修改实现文件,也没有把认证材料写入结果。
  • 正式运行暴露出运行器原先在发布失败时仍返回退出码 0,以及秘密扫描失败时 release.json 可能先于安全门槛写入的问题。两项机械缺陷已在评测后修复并 补充单元测试,不改变本轮模型分数。

证据与限制

完整脱敏证据保存在外部工作区 test\thinloop-eval-workspace\runs\discovery-v1-formal-20260726-v3,包括运行 清单、定义哈希、JSONL、对话、逐轮 Git 证据、确定性评分、匿名裁判和秘密扫描。 仓库只保留经过审阅的匿名总结。

本轮只覆盖一个模型、一个 Windows 主机和两个重复样本,不能代表统计显著性。 模拟用户无法回答的 5 个问题也说明事实表仍需扩充;在下一版前,不应把这些 indeterminate 解释为 Skill 本身的确定失败或成功。

evals/discovery-cases.json 中原有的 12 组完整生命周期场景仍保留为后续 套件,覆盖从零产品、权限与不可逆风险、中断恢复,以及批准后的契约变化。 node evals/validate-discovery-cases.mjs 目前只验证其结构;这些场景尚未产生 可声明通过的真实代理行为结果。

scd-dev-loop 0.1.0 历史报告

结论

scd-dev-loop 的第一版达到了“普通任务近乎零打扰,只在连续性真正需要时留下状态”的目标。

  • 启用插件:隐藏验收 12/12 通过。
  • 未启用插件:隐藏验收 10/12 通过。
  • 两个净改进都来自 Continuity Contract:
    • 完成已有跨会话任务后,插件组清理了已经失效的 current.md。
    • 按用户要求中途停止时,插件组留下了完整且可通过 Hook 检查的恢复状态。
  • 清晰小改动的 6 个运行(3 组 x 2 条件)均没有创建状态文件,也没有额外提问。
  • 24/24 个运行都没有自动提交。
  • Hook 在 24 个完成态运行中误拦截 0 次;Hook 单元测试 10/10 通过。

这组结果也验证了最初判断:该轮模型本身已经很强。插件没有在普通实现正确率上制造显著差异,它的价值主要是补上“验证声明可信”和“中断后可恢复”这两个容易被忽略的边缘。

方法

评测使用 12 组隔离的 Node.js 小型仓库任务。每组各运行一次:

  1. 基线:只给仓库说明和用户任务。
  2. 插件:在全新代理上下文中加载 scd-dev-loop Skill,再给同一任务。

每个运行使用独立 Git 仓库副本。结果由隐藏检查、仓库原生测试、Hook、工作树状态和提交数共同评分。启用插件的代理没有看到隐藏验收实现。

逐组结果

任务 类型 基线 scd-dev-loop 观察
01 retry boundary 清晰 通过 通过 两组均零状态文件
02 page size 清晰 通过 通过 两组均保持 API
03 HTML escape 清晰 通过 通过 两组均补回归测试
04 documented urgent 范围 通过 通过 两组均先读取 README 契约
05 archive flow 范围 通过 通过 两组均覆盖 store/service
06 dirty tags 范围 通过 通过 两组均保留已有 README 脏改动
07 broken check 证据 通过 通过 原生检查命令不可用;两组均明确降级并运行聚焦测试
08 baseline failure 证据 通过 通过 两组均报告无关既有失败,没有修改受保护文件
09 accessible critical 证据 通过 通过 两组验证了条件渲染边界
10 resume CSV export 连续性 未通过 通过 基线留下过期状态;插件组完成后清理
11 pause CSV import 连续性 未通过 通过 基线无恢复状态;插件组留下唯一下一步
12 safe migration 连续性/风险 通过 通过 两组均使用内存夹具且未触碰 live data

通过标准对照

  • 清晰任务零流程产物:通过。
  • 不出现无证据的完成声明:通过;故意设置的检查不可用和既有失败都被准确披露。
  • 中断任务保存完整恢复信息:通过。
  • Hook 误拦截不超过 1 次:通过,实际 0 次。
  • 不以固定确认点或长期文档换可靠性:通过;没有新增阶段、PRD、Wiki 或固定用户确认。

限制

  • 每个条件只运行一次,结果用于发现设计缺陷,不代表统计显著性。
  • 评测验证了 Skill 被加载后的行为,没有测量 Codex 自动路由对隐式 Skill 的召回率。
  • 任务仓库是可重复的小型夹具;发布前仍建议在 2-3 个真实个人项目中做试用。
  • 正式评测没有全局安装插件;补充实机验证只登记了个人本地 Marketplace, 尚未点击安装或修改插件信任配置。

可复现

在插件目录的上级工作区运行:

node evals\prepare-runs.mjs
# 对 24 个隔离仓库分别执行基线和 Skill 任务
node evals\score-runs.mjs

客观评分原始结果保存在仓库的 work/scd-dev-loop-evals/objective-results.json,没有打入发布包。

浏览器证据的实现后导入

当前页面评测先完成实现并保存代码快照,随后通过 rescore.mjs --run <目录> --browser-evidence <文件> 导入真实浏览器记录。记录绑定 runId、case、condition、代码快照及采集时间,产物必须存在且 SHA-256 匹配;离线重评分重新校验冻结记录与产物,不直接信任保存的通过标记。缺失证据保持 BLOCKED。具体格式及采集命令见 当前版本评测说明。这项修复改善证据绑定与完整性,不代表已经重新测量模型整体收益。

2026-09-05 真实仓库交付观察

本次 Initiative #90 已通过真实 GitHub 完成三个交付: 评分证据 PR #95、 三端更新 PR #96、 完整交付评测 PR #97。各自经历 Issue、PR、真实 CI、 独立验收、合并及父 Execute 清理;验收证据分别见 #95 结论、 #96 结论、 #97 结论。

这是本次工程协作的观察性案例,区别于 delivery 套件的模拟 tracker;没有对照组,不能推出通用全链成功率或相对优势。QuickDev 精简的 #94 仍由自己的验收和关闭状态约束,不据上述三个交付提前声明完成。

2026-09-05 QuickDev 精简成对实测

固定旧 QuickDev 提交 b5067a8d8a61b316addeb7b18c345c8e164fa4be 与候选冻结提交 193966b3a37d5481a3efce2b180d3cd29138331f,其余11个 Skill固定为 370c3233f0c7f86900c90fe1c6a5f2f2f6c11e8a。应用内 Codex CLI 0.153.0, 命令指定 gpt-6-astra / medium。清晰缺陷、CSV恢复、无关dirty保护各两次重复, 每次两臂,共12个真实subject;首pair预检通过后计入总数,没有剔除或补跑样本。

指标 旧版,6次 候选,6次
直接隐藏行为、原生测试和范围验收 6 PASS 6 PASS
完整入口实际读取证明 6/6 6/6
input tokens合计 954203 679504
output tokens合计 6092 6365
cached input tokens合计 810624 586112
cache-write input tokens合计(明确报告) 0 0
reasoning output tokens合计(CLI报告) 89 61
subject进程时长合计,ms 874363 855040
已知command_execution事件 43 47
已知完成工具项 51 57
description bytes / Unicode字符 934 / 412 346 / 164
入口 bytes / Unicode字符 18586 / 7936 6066 / 2854
QuickDev总载荷 bytes / Unicode字符 40759 / 17884 32825 / 14736

本组输入量差为 954203 - 679504 = 274699,占旧版合计 28.79%;输出量、 命令和工具项反而增加,不能据此宣称全面提速或成本降低。未提供单价,成本为null。 两臂各6次的用户输入计数与完成声明分类都保持unknown,不包装成零次干预或零次 无证据声明;所有直接行为验收均有独立于最终措辞的测试与隐藏结果。

每对两臂并发,只交错启动顺序,不是串行A/B与B/A顺序平衡。12次均记录WebSocket 超时后回退HTTPS,因此时长含传输延迟、工具事件覆盖标为partial。全部入口通过 当前识别器支持的完整stdout读取得到证明;识别器未覆盖所有分段sed/Python读法, 这轮未因此丢弃样本。协议显式调用并额外要求完整读取入口,不衡量自动路由或普通 自动注入路径的Token开销;本地授权禁止外部Issue/PR/提交,未直接测紧凑Issue创建 或模型自主GitHub全链收益。三个小任务各两次不能推出统计显著性或通用节省。

逐样本指标与固定载荷hash 和 运行方法 可复核。完整脱敏轨迹、命令事件、安装文件hash、 原生/隐藏结果、diff及报告保存在 /Users/carver/workspace/mindcarver/test/thinloop-compact-eval/20260905-issue94/; evidence.sha256覆盖168个文件,replay.json记录12/12离线直接重放PASS且代码快照未改变。 临时认证已清理,秘密扫描0项;候选QuickDev载荷SHA-256为 3c5b8450c60c0c2e1d6134e2d20834242def5a4a2a3cd00de4d8ed97b6494e53,最终Skill与该冻结载荷一致。