prtseek / Development Notes / 04

同一个结果,别验证三遍

换了参数,拿回来还是同一张页面;脚本报错,读到的却是上次的文件。Agent 看着很忙,证据可能一条没多。

OracleNep2026-11-14EvidenceExperimentsVerification

有一类过程很难只看最后的回答发现问题:Agent 换参数、发请求、解释结果,再换参数。工具一直有输出,文字也一直在往下走,可几次请求拿回来的其实是同一张页面。

重复本身不一定错。要确认一个现象稳定,确实得重复。让我在意的是它有没有意识到结果没变,以及下一次尝试准备区分什么。

原地打转

现在的做法很朴素:看最近 8 次非轮询工具调用。同一个结果出现 3 次以上,或者失败到 4 次,就提示做一次阶段复核。提醒之间至少隔 4 步,正常情况下每 8 步也会查一次。

HTTP 结果不能直接拿整份 JSON 比较。耗时每次都变,落盘文件名也会变,这些字段会盖住重复的正文。所以签名只取状态、已读取正文长度、哈希和原文截断标记。其他工具照旧按原始输出比,没有加模糊匹配。

提示里让它记下当前假设、证据、反证和下一项要改的变量;有可引用证据时再存一个检查点。这里没有再调一次模型来当裁判,也不会锁住工具。正在做重复性实验就继续,一直拿到验证页就得先查出口和初始状态。

如果响应里混着随机字段,这种精确比较还是会漏。先留着这个简单规则,是因为把两份不同的观察错并成一份,后果更麻烦。

旧文件比报错更容易误导人

上次留下的 result.txt 还在,这次脚本失败,后面的读取照常成功。只检查文件存不存在,就会得到一个很漂亮的假阳性。

research_experiment 要求先填假设、改变的变量和预期观察,然后分配新的 exp-… 编号、目录和产物前缀。最简单的本地实验排成这样:

先确认:本实验的输出文件还不存在
执行:  把结果写入新分配的目录
再检查:读取新文件,按预先写好的条件校验

基线是这里面最关键的一步。脚本跑之前文件就在,后面“读到了”什么也说明不了。重新读一遍旧产物,只能证明它还在。

目录只解决本地文件。远端的缓存、登录状态、已有数据不会跟着换目录一起复位,还得用唯一标识或真验证过的清理办法。代码能查实验编号和目录在不在,查不了远端有没有回到起点。

verified 从哪来

report_outcome 里除了目标状态,还有一项验证等级。inference 是推断,observed 有实际观察,reproduced 是做过独立复现,accepted 是平台接受了。每往后一步,都得补对应的材料。

verified 要验证说明加一次成功的工具观察。派发回执、等待回执、之前写下的“我已经完成”,都不能自己给自己作证。reproduced 要带实验编号,基线和结果必须是本会话两次不同的观察,而且基线在前。accepted 要给出接受证据,并把它列进总的 evidence 集合。

证据还要查归属。会话编号必须属于当前任务或它的后代,观察编号得存在,文件得读得出来,大小和 SHA256 要和记录一致。产物用会话目录里的相对路径,指向现存的普通文件。这样能先挡住编造编号、挪用别的任务材料、事后改文件这几类。

哈希对得上,内容不一定对

一个真实工具成功输出了错误答案,这份输出的哈希也可以完全正确。

所以校验到这里还差一层:内容是否支持验收条件。两个合法观察编号,凑不出一次有效的对照实验;一份成功返回的页面,上面也未必写着平台接受。界面上把等级标成“Agent 报告”,就是不想藏掉这个来源。

有确定校验方法的题,应该把它真跑一遍。候选要对校验值,输出文件要看内容,需要平台确认的就留回执。比起让 Agent 再写一段“经过反复确认”,我更愿意在结果旁边看到那次校验到底读了什么、返回了什么。

相关代码

对应版本:c888078。

其他文章