拾遗 Gleaner

AI 产品最容易自欺的地方是评测——事后调阈值、悄悄改标注、把别人的功劳归给自己的改动，每一种都能让数字变好看。我要的是能拿去和财务、IT 谈的数字，所以规则必须在测量之前写死：验收判据先冻结进 PRD，30 张真实发票人工标注后 seal 封存（哈希链五环互锁，改一个字标注 = 全部已跑预测作废）。

① 判据被自己红队掉了：「低置信度捕获率 ≥90%」这个指标只有召回侧——把全部 13 个字段都标成低置信度就能刷到 100%（实测这种捷径的精确率只有约 13%）。

② 回归 #2 的「假大捷」：捕获率 11.5%→48.3%、精确率 50%→82.4%，看起来大涨；但逐票来源归因发现，新增的 21 个低置信标记全部来自模型的自发行为，我这批宿主代码的边际贡献是 0——「删掉这批代码，这次照样绿」。

③ 标注本身出错：3 张数电票被标错票种，而 seal 机制没有留任何补救后门。

我拒绝把回归 #2 宣布为成功，即使数字已经足够漂亮。评测的职责不是替产品“证明模型很好”，而是排除反事实：如果删掉这批改动，结果是否仍然成立？如果答案是“仍然成立”，这次上涨就不能算我的产品成效。

① 在阶段二开跑前的唯一合法窗口补上「低置信度精确率 ≥30%」封死刷分捷径，并刻意不设高线（当时真实值 67.4%）——避免「首次引入判据就设高线、之后为过线再调判据」的二次污染。

② 回归 #2 定性为「测量完成、验收失败」，不把模型带来的增量冒充自己改动的成效；回归 #3 修真正的根因（文字层缺该字段时定向 OCR 回退），下载次数字段从 null 升到 94.1%——但另一项相关能力仍只按「接线完成」收口，不宣称捕获增量。

③ 标注错误走 errata 勘误机制：原文件一字不改，勘误单独披露（含「怎么发现的」——如果是看了 OCR 输出才发现的，该字段从此失去「标注先于测量」的验收资格），不事后改分。

在 v0.2 回归 #3、原 sealed 30 张上：判死 4→0、关键三字段 30/30 = 100%、下载次数 16/17 = 94.1%。比数字更重要的是，「sealed 数据集 + 判据先于测量 + 反事实归因 + errata 披露」成了之后每个版本的标准动作；「保留红项与披露、不重跑同一版本赌绿」写进了工程文化。

查重出来的候选票需要官方查验记录佐证。「让 AI 自动上税局网站查验」是所有人的第一反应，也最能显得「智能」。

① AI 自动查验：查验次数是税局全局共享、不可回滚的计数器，AI 每查一次永久 +1——会污染财务现行的「查验次数 ≤2 属正常」这条生产规则。这不是加一层保护，是隐蔽地拆掉现有的那层。

② 电子税务局批量接口：500 条/次、无验证码，极其诱人；但要实名账号且账号不普及——「要求特定某人在场」的路径是单点依赖，不是备选。彻底否决、不留备选。

③ 自动求解验证码：技术上完全可行。但我把人工流程拆开算了账：转录字段约 60 秒、敲验证码约 10 秒、读记结果约 20 秒——验证码只占约 11%，贵的是转录，而转录可以合法地交给 AI。而且打码服务一旦中断，查验次数落 0 会被读成「没人查过 = 正常」，产生最危险的静默假阴性。

我把目标从“消灭人工”改成“消灭不值得人做的工作”：机器承担可逆、耗时、可核验的字段转录与清单生成；人只留在验证码、批次确认这类不可逆或需承担责任的节点。人工闸门不是 Agent 的失败，而是产品有意设计的控制面。

拆成 A/B 两段，且 A 先 B 后是硬顺序。A 段 = 无人值守主链路（入库 → 指纹 → 比对 → 排出 20 张带可粘贴字段的复核清单），这是产品本体——「提完需求就走开、回来看结果」的体验在清单产出时就兑现了，查验本来就是人要过目的复核动作。B 段 = 复核半自动：AI 在域名锁死的受限浏览器里预填表单、人只处理验证码，配「每批显式人工确认 + 全程出网审计」，形状必须是「例外」而不是「降级」。

B 段真实走通——20/20 授权来源终态写回、19 项与官方结果完全一致；其余 1 项是业务结果不一致，未被藏进平均数。用户口述单批人工时间从约 30 分钟降到 3–4 分钟；全程零专属账号依赖，一个人能独立跑完闭环。

「举证不全只能出存疑」写在 PRD 里、写在提示词里——但提示词的遵守率是概率性的，失败还是静默的。财务产品的安全承诺必须机器可执法。

① 30 条测试全绿的模块不在真实路径上：判例落库模块自己的单元测试全部通过，但审计发现它不在工具列表里、真实链路零调用——「不能举证只能出存疑」这条红线在活路径上无人执法，报告在照抄模型自己给的结论。

② 首次真实付费运行暴露 Windows 写门禁失效：判定链路一路走到举证装配，但 3 次 Write 调用全部被拒——这是同一个根因的 3 次表现，不是 3 个缺陷。Windows 配置缺了 filesystem.allowWrite，白名单为空导致永不放行；模型于是绕道重试 29 次，缓存重读 126 万 token，直接撞上当日限流。

③ 继续收口时又找到两个静默状态：判例落库因无候选而跳过时，CLI 不打印任何状态，用户无法区分“确实没有”与“这一步没跑”；制度导入只拿到国家层、企业条款为 0 时仍可报成功，看起来像制度库已经可用。加上 Windows 写门禁，这才是 D67 记录的三个静默失败。

只要一条承诺的失败会带来静默风险，它就不能只活在 prompt 或模块单测里；守卫必须接在真实生产路径上，并通过“故意破坏它会不会红”的反事实测试。提示词负责偏好，代码负责不变量。

把每条红线降到代码层，并给每个守卫配红队测试。判例落库改成宿主后置的确定性 CLI——这类无需模型参与的高风险数据库写入不暴露为 Agent 能力；无候选也必须打印 skipped；企业制度条款为 0 时 CLI 默认拒绝，只有显式 flag 才允许国家层单独测试；两平台写白名单逐字对齐。「存疑必须指名缺哪个字段」从提示词升级为契约必填字段；CI 继续执法人员字段、场景专用工具和真实票据泄漏。每个守卫都做反事实验证——「只会输出通过的打分器，比没有打分器更坏」。

四个无冲突决议（D63/D64/D65/D67）落为代码不变量；“真实路径未接线”单独修复，D67 的三项静默失败——Windows 写门禁、判例跳过无输出、仅国家层制度仍报成功——逐项修复，并新增 8 条 TS + 2 条 Python 定向断言。

合规审查的核心是判定口径——AI 拿制度判发票，什么情况出 fail、什么情况出 pass？这不是技术问题，是产品对财务的承诺。

读完公司真实制度后发现三个反直觉事实：① 费用标准几乎全部按职级分档，而职级不在发票上——照直做，输出几乎全是「存疑」，对财务毫无信息量。② 制度里没有任何无条件的单张上限（比如停车费上限其实是「每天」且限定职级与出差性质）——「单张不超上限」推不出合规，pass 一度被判定为不可达。③ 业务形态比制度更复杂：财务会把多个员工的发票混在一批上传（A 在广州出差、B 在杭州），跨票一致性判定的误报接近 100%；招待费也开餐饮发票，拿差旅标准判招待费是纯误报。

我没有先调模型，而是先定义“AI 在什么信息条件下有资格下结论”：确定违规、确定合规、缺字段存疑、结构性未审必须是四个互斥状态。费用归属由使用者声明，不让模型从发票猜；这不是减少智能，而是阻止系统把业务前提伪装成模型推理。

逐条构建四层可判空间——A 层：制度明文禁报品目，零上下文可判 fail；B 层：「取最宽松档做上限」——金额超过全公司最宽松的那一档，不需要知道职级也一定超标；C 层：缺字段只能出存疑，且必须指名缺哪个字段（落库统计「哪些字段最常缺」，这是决定下一版要不要接报销单的唯一数据依据）；D 类：「本版未审」——结构性不可判的（如自驾油费）不出结论、不进判例库，但必须显式列出张数与金额合计，因为「财务会把没报出来读成没问题，这是本产品最贵的失败形态」。

次日我逐行审注入集，又抓到一个镜像缺陷：一张恰好等于全公司最严格档的住宿票——金额不超过最严格档，就不需要职级也一定合规，「取下界」可以判 pass。前一天的决议少了一整个方向：取上界写进去了，取下界压根没想到，而两者是同一个机制。另外，费用归属（差旅/招待）由使用者按批声明、不由 AI 从发票猜——未声明就整批不判，这是代码不变量。

判定口径冻结进 PRD §11.3.3：20 张注入集含 5 张阴性对照和「上限+1」「恰好等于」边界样本（没有阴性对照，「召回 100%」可以靠把所有票都判 fail 达成）；出题与定答案分离——生成器造题、我逐行确认后封存，「代理既出题又定答案会让判据形同虚设」。首次端到端真跑：20 条判例全部带举证落库、自动打分器 20/20 对上——机制全部工作；判定质量的召回判据未达标，按既定流程换正式模型重测，不改判据凑数。

对 4 台真实财务机做预检，只有 1 台能装 WSL2 形态（一台 Win7、一台内存 3.9GB、一台系统版本差一步），且全部 AD 域纳管、常态无管理员权限。产品主要给 Windows 财务用户，为开发者理想环境搭的 WSL 全套（2,669 行装机链 + 每机重启 + 1GB 镜像）成了交付的最大障碍。我的原始判断只有一句话：「现有兼容 WSL 的架构太重了，导致项目交付极其慢。」

WSL 里的 Linux 沙箱是对 IT 承诺的安全边界本体，而 Windows 原生沙箱实测「连启动都过不去」（官方文档写 not supported、功能开关默认关闭）。砍 WSL 等于动安全叙事——这是一次架构级大手术。

安装率不是工程尾项，而是产品能力。与此同时，“先去 WSL”与“Windows 何时获得同等级 OS 沙箱”是两个决策，不能因为第二个暂时无解就把第一个绑死；正确做法是先解除交付门槛，再把安全能力差异如实分层披露。

变更管理三件套：先打回滚 tag（总 tag + 每阶段独立 tag，避免 all-or-nothing）；执行计划写成文档并冻结，「等我确定后再开工」；计划文档本身经 4 个独立 AI 代理逐条对照代码核实，修正了 4 处「把假设写成事实」。问题解耦：把「能不能去 WSL」和「沙箱怎么办」拆成两个独立问题分别拍板——实测证明关掉沙箱后原生 Windows 一切正常，工程可以先行。事实前提核实到 100% 才拍板：官方文档当日二次抓取 + npm 包版本复查 + 本机强开实测，三层独立证据。安全叙事宁可分层也不掺水：Windows 选「弱隔离先行 + 官方 GA 后升级」，对 IT 如实改口「Windows 无 OS 级沙箱」；不为口径一致而降级 macOS/Linux 的全沙箱；对应验收判据显式悬空、不得伪装为通过。

一个通宵加一个上午打穿五个阶段（一天连发 8 个 PR），删除 3,200 行装机链；产出自包含 portable ZIP（657MB，捆绑 Node + Python + OCR 权重，解压即用）；当次 6 项发布验收全部通过，含断网路径。放弃了什么也写得清清楚楚：评测桥保留在 POSIX 平台，代价是「回归基线数字不在用户平台上产生」——明示代价进了决议登记表。

个人预算项目，成本是刚性约束（月度上限 ¥50，写进配置并有代码级熔断）；而且要给财务报价，成本数字必须可信。

① 本地成本记账曾虚高 111 倍（记账 ¥380.88 vs 真实约 ¥3.43），且无法逐条判定——如果先改公式，就永远查不清原始差异了。② 计价挂错层级（价目挂在服务商而不是具体模型上），某档记高 3.27 倍——「记错等于熔断阈值被悄悄挪动」。③ 预算熔断曾经从未真正生效——生产路径上没有任何代码往用量字段写数，「一条已宣称建成的安全边界实际不存在」。

先冻结原始账，再修公式；先找服务商账单这个外部真源，再谈本地估算。商业判断必须同时回答“花多少钱”和“要多久”，因为低单价完全可能掩盖不可接受的吞吐。

用外部判据裁决——「一次运行的账不可能大于全部运行的账」，以服务商控制台账单为准排除本地口径；修复后做真实付费对账闭环：两笔请求的 input / output / cache token 与服务商明细逐项核对，按官方价目手算 ¥0.0236328 vs 实扣 ¥0.02362，误差 ¥0.0000128。报价方法论也由此建立：实测 ¥0.21/张、13.4 分钟/张，外推 3,000 张 = ¥634 但需要 28 天——「¥634 谁都签得下来，28 天没人接受。报价必须同时给钱和时间，只报钱是把最大的风险藏起来。」

成本账本可信之后，才有资格谈规模化。之后每次真实运行都带成本实数（v1.0 首跑 ¥2.54 / 100 轮 / 50 分钟；30 张评测总成本约 ¥6）。

拾遗的产品承诺是「给一句目标和一组材料，用户可以离开，回来拿结果」。如果我为合并表格、拆分工作簿、发票入库、查重、合规审查各画一条 DAG、各造一组场景工具，模型就只是流程路由器；新票种、新制度、新表结构仍要等产品发版，无法兑现“处理未知缝隙任务”。

我需要一个已经证明“少量通用原语 + 丰富环境上下文”能够工作的参照系。Claude Code 给了工具、Skill、Hook、权限与会话恢复的工程样本；Codex 的开源 Harness 进一步把 thread、turn、event、approval 以及“宿主拥有界面、上下文、工具和操作边界”讲清楚。我要翻译的是这套执行结构，不是界面皮肤。

① 代码领域有天然环境，财务领域没有。Claude Code 的垂直度来自仓库、Git、编译器和测试，不只来自一句“你是工程师”。业财领域的等价物必须由产品定义出来。

② 自主性与财务控制天然紧张。保留 Bash / Read / Write 才能让模型现写代码处理未知数据，但财务又要求预算、出网、写入、举证、审计和不可逆动作可控。

③ 业务世界缺少编译器。模型可以自称“已经核对”，但没有外部 verify 信号，plan → act → verify → fix 里的 verify 是空的，Agent 只会“自主地错”。

④ 治理很容易滑成工作流。验证码处必须暂停、人确认后恢复；文件发布必须过契约。它们是安全不变量还是固定业务步骤，边界如果说不清，“不做编排”就只是一句口号。

我把“更 agentic”定义成七个可验收问题，而不是形容词：

1. 能否自主拆解目标？
2. 能否组合通用原语完成未预编排任务？
3. 换票种时是否无需新增业务工具？
4. 能否调用外部 verify 发现并修复错误？
5. 中断后能否恢复，而不是整批重来？
6. 到不可逆动作时是否停下交人确认？
7. 越界时是否被机制阻断，而不是靠模型自觉？

七项的当前成熟度：真实模型已经证明“自主拆解 + 通用原语组合”可完成两个未预编排 Excel 任务，B1 也真实证明了人工暂停与同会话继续；Replay / 代码与定向回归证明换票种无需新增流程工具、恢复与越界阻断机制存在。仍缺同等级真实轨迹的是“Agent 主动调用 verify 后自行修复”以及更大范围的新票种泛化，因此不把七项都标成已通过。

固定安全不变量是治理；固定业务步骤才是编排。允许固定域名、预算、写入范围、审批点、恢复点与证据契约；不允许按票种复制工作流、可配置 DAG 或要求模型逐节点执行的业务状态机。

我没有重写 Agent loop，而是在成熟内核外围包一层业财 Harness。全产品只允许一个 SDK query() 入口，CLI、Chat、后续能力会话都必须经过同一装配；保留 Claude Code preset 与通用内置工具，把差异化放进环境、知识、治理、验证和恢复。

安全策略也按这个判断分层：模型保留计划与工具选择自由；Hook 管预算、出网、浏览器、payload 和写路径；确定性入库由宿主执行；高风险 B1 能力用受限会话，只给浏览器工具，在验证码处暂停，由人输入后沿同一会话继续。

通用原语完成未预编排任务拿到了真实模型证据：五店共 36,000 行、金额 ¥14,736,038.18 在 macOS 与 WSL2 两次运行一字不差；模型只组合 Bash × 5 + Write × 1，7 轮、198 秒；36,006 行源数据只形成 8,062 字节上下文出入量。另一个拆分任务自行产出 9 个文件，行数 12,000 / 11,000 / 13,000 准确对应，6 轮。

治理与恢复也有真实链路证据：B1 在没有工作流引擎的前提下完成 20/20 来源终态写回，验证码从未进入模型；主线 #61/#62 增加真实 session resume、历史任务、实时过程与“启动期失败也可见”。Replay 另行断言换票种时工具和 server 不变，但我只把它当 Harness 机制证据，不拿它冒充模型会自主选对步骤。

在把国产 Qwen 接进发票链路时，我发现“模型能理解发票”与“系统拿到一个可消费的正式产物”是两件事。旧路径让模型自由写 JSON，再由下游验证；它可以在自然语言里说成功，也可以让 SDK 返回 success，但只要文件形状非法、宿主字段被猜错或最终消息丢失，业务上就是没有交付。

① 协议学习成本被重复收取。模型明明读过 invoice 业务契约，却跳过 typed submission schema；MCP 的 tools/list 又把 evidence 暴露成无结构字典。一次真实 smoke 的两次提交分别因 evidence 键集合非法、擅自提交宿主管理的 source SHA 被拒；第三次意图被提交次数上限挡住，9 轮、288 秒、¥1.147148 后仍是 0 artifact / 0 receipt。

② 副作用成功与会话成功不是同一件事。后续 smoke 首次提交已经发布合法 artifact + receipt，但易失的 PostToolUse tracker 漏掉回执，CLI 仍报失败；反过来，SDK result success 也不能证明磁盘上有可信产物。

③ 很容易误修成工作流。最直接的方案是写一个“读取 → OCR → 组装 → 提交”的发票专用状态机，或为每个票种新增工具；这会修好一张票，却破坏“通用 Agent + 通用产物边界”的架构。

④ 最终还要做真实产品取舍。“Qwen 更便宜”不是充分理由；必须同时比较完成稳定性、工具参数合法性、上下文边界、sealed 质量和权威成本。

如果一个动作的合法语法可以由代码表达，就不该让模型靠读文档猜。好的 Harness 不是替模型决定业务步骤，而是让非法动作在生成参数时就不可表达。模型拥有“读什么、是否 OCR、怎样判断、如何修业务字段”的自由；宿主拥有契约版本、来源身份、系统字段、算术、指纹、幂等与正式发布。

同样，副作用完成必须由持久回执证明，不能由模型总结或易失事件证明。这像数据库提交，不像聊天回答。

这条演进分五次收口：

1. Typed Artifact Gateway：新增唯一通用边界 submit_typed_artifact(contract, version, draft, evidence)。模型只交语义 draft；宿主补系统字段并执行真实 schema、跨字段、算术、来源 SHA、指纹、幂等与原子发布。Write / Edit / Bash / 复制移动 / 软链接不能旁路正式产物目录。
2. 任务级 Execution Profile：不另造“轻量发票 Agent”，仍复用同一 Harness；只在这一轮收窄输入、工具、轮次、提交次数与成本，并把“恰好一个可信 receipt”设为成功后置条件。
3. 契约编译进工具：把 canonical JSON Schema 投影为本轮 submit_typed_artifact 的 input schema，让 evidence 的合法键、嵌套类型和宿主字段在工具边界可见；非法协议不再靠提示词提醒。
4. durable receipt 恢复：PostToolUse 只提供候选；收口时从正式目录恢复当前 run 的 receipt，并复核 schema hash、artifact digest、来源绑定与唯一性。会话最后一条消息丢了，已提交副作用仍能被找回；半成品永远不算成功。
5. 按需语义与权威计量：只按 1–8 个字段披露 canonical contract 语义，避免把整个契约目录塞进上下文；逐轮 usage 用于诊断，最终 result total 才用于计费，避免把累计快照重复相加。

接口重构后的方向性调试证据：旧路径 n=4 累计 173 轮、cache read 约 870.4 万、目录价约 ¥24.383，折合约 43.25 轮 / ¥6.096 每票；契约编译后的单张 smoke（n=1）在 8 轮内首次提交即发布 1 artifact + 1 receipt，目录价 ¥0.950093。两者不是同样本、同模型的受控 A/B，不能据此宣称确定降幅；它的价值是定位“协议学习”成本已被结构性移出模型轨迹。

然后按冻结判据做模型选择：qwen3.7-plus 的 T5 20 次稳定性测试完成 18/20，非法工具参数 0、上下文溢出 0，达到事前设定的 ≥18 门槛。两次失败也计入分母：一次跳过契约语义后在 Money 形状上耗尽两次提交，一次反复 Skill / OCR 路由直到 max-turns、尚未提交。随后在同一冻结提交、同一 sealed 30 张上同期 A/B：DeepSeek 关键三字段 29/30 = 96.7%，Qwen 28/30 = 93.3%；Qwen 低 3.3 个百分点，但目录价 ¥2.751136，仅约为 DeepSeek ¥20.180373 的 13.6%。我在知悉质量差异后明确选择 qwen3.7-plus，而不是把成本优势写成“质量等价”。

项目由我一人负责产品与技术，但范围同时覆盖 Agent Core、MCP、评测、浏览器、桌面、Windows 分发与文档。Claude Code 与 Codex 能显著放大执行力；如果只对两个会话说“你做 A、你做 B”，它们会修改共享契约、基于不同基线推理、重复造轮子，最后由我承担合并和事实核对成本。

① 并行的前提不是任务名字不同，而是依赖真的可拆。Core、CLI、Python 契约互相钉版本，一边改 schema，另一边很可能在旧形状上继续开发。

② AI 很容易把“代码写了”写成“产品完成”。单元测试全绿、真实路径未接线的事故已经发生过；交接报告如果只列文件和测试，会继续放大这种错觉。

③ 有些问题不能由执行代理顺手拍板。PRD、决议登记、真实用户写入、验证码、共享契约冲突、基线失败都可能改变产品承诺或产生不可逆后果。

④ 上下文会丢、分支会漂、编号会撞。长任务跨会话、跨工具后，如果没有基线与真源纪律，后来的代理无法区分事实、推断和过期状态。

我把 AI 代理当成“有执行力、会推理、但没有最终产品授权的团队成员”。模型可以自主读代码、设计方案、实现和验证；我保留产品语义、证据口径、共享接口和不可逆动作的拍板权。多代理不是越多越快，只有能给出独立所有权和验收信号的切片才并行。

我把协作机制写成可执行约束，而不是口头提醒：

• 同一冻结基线：开工报告必须写 role、worktree、branch、baseline SHA、目标、允许修改文件、冲突点与前置条件；所有代理从同一提交分叉。
• 独立 worktree + 文件所有权：Codex 负责 B0/B1 与付费对账等切片，Claude Code 负责桌面分发等切片；共享契约不允许两边默默各改一版，跨界先停。
• 契约先于实现：跨 TS / Python / GUI 的接口先冻结 schema 与退出语义，再让不同代理各自消费；集成人按固定节奏合并，不让某个代理“顺便统一全仓”。
• 完成报告不只报代码：强制回答“产品推进到哪、跑了什么真实路径、哪些失败仍在、引入了什么耦合、改了什么接口、下一个需要谁拍板”，并给 commit 与证据位置。
• 十类停止条件：改 PRD / 决议、引入场景专用工具、税局登录或验证码、页面与记录不一致、Electron 放业务逻辑、目标机环境异常、带真实用户写入、共享契约冲突、基线失败、可能影响真实数据时，一律暂停交我。
• 独立审计代理：大改前先让多个 AI 只读核对计划与代码。去 WSL 计划因此在开工前修正了 4 处“把假设写成事实”；先打总回滚 tag 与阶段 tag，再并行执行。

协作 Harness 先以 PR #5 固化；随后 8/10–8/15 交错合并 PR #6–#37，一条完成 B1 受限浏览器与 20/20 真实写回，一条完成 v0.4 桌面与分发。项目 main 在 29 天形成 181 commits / 60+ PR；随后 Typed Gateway 继续在独立 Codex worktree 演进，历史、分支、证据和尚未并入 main 的状态仍能被清楚区分。

它也暴露而不是掩盖冲突：并行历史里出现过决议编号被不同分支消费的碰撞，架构文档明确登记为待发起人裁定，而不是让任一代理自动重编号并改写历史。这正是研发 Harness 的价值——让冲突显性、可停、可裁决。