为什么多智能体评论者持续审阅而不是发布
这是译文。权威版本是英文原文，引用请以原文为准。
在一项随机测试中，模型评论者在一条提示词的单个句子中被给予两个选项，选择添加控制68次，仅删除一次。该结果及其背后的学术记录，解释了为什么多智能体评论循环往往持续审阅而不是发布。
68比1的结果
该论文在一个小型管道上运行了自己提出的测试：一个工作人员和两个模型评论者，144次运行，三个随机分配的干预，以及提前在六项任务中植入的十八个缺陷，这样漏掉的缺陷是一个计数而不是判断。
- 添加与删除。 在同一提示的同一句话中提供了两个选项时，评论者要求添加一个控制68次，删除一次。这唯一的删除操作指向了在同一次运行中稍早前承认的一个控制，但测试框架未能匹配它，因此它从未被执行。
- 拒绝这些添加 在缺陷方面显示没有可测量的代价：每次运行0.13个漏掉的缺陷对比0.18，95% CI [-0.16, +0.05]。论文指出该区间包含一个小的增加，未能建立等价性。
- 增加轮次预算 将声称的阻止因素提高2.3倍，反驳声明3.7倍，而确认的阻止因素增加1.7倍。
该测试很小，论文也是这样说的："一个系统在六项小型任务上的一次运行，成本为$3.47"，在第一次运行之前预注册。"它表明该设计是可行的及其产出结果，但这不是该领域任何事物的代表性速率。"
AI智能体陷入评审循环：实地记录
随机化测试被构建用来检查在作者自己的多智能体项目中首次看到的模式。批评轮是一个过程，其中批评者模型审查一个阶段并返回 ACCEPT 或 RETURN。
- 长时域运行的 Stage 01 经历了5轮和18份批评报告。补丁从626行增长到1,545行。
- Stage 1b-a 在默认禁用的模块上花费了5轮和4小时21分钟。尽管第2轮已以5次接受和零个确认的阻碍结束，第3轮仍然进行。
- 在整个运行过程中，批评者声称有六个阻碍。其中三个通过复现被确认。
当人类负责人要求限制批评者时，一个按族群的"完美主义者"标记在一小时内被实施，而且它标记的那一个族群是唯一一个其阻碍被确认的族群。
AI代理令牌预算和控制税
该论文使用了Terekhov等人(2025)提出的术语"控制税"，即向AI管道添加控制措施的成本。在这次长期运行中，导演添加了一个保险"小阶段"，而该阶段不在声明的目标中。仅第1b-a阶段就消耗了该运行测得的代理令牌的一半以上，其两个子阶段合计约占四分之三。首轮未交付任何请求的功能。
第二天早上，人类负责人设定了两小时的限制，禁止引入新的复杂性，并下令并行执行。同级子阶段在一轮批评和一轮修复中完成。论文在这里很谨慎：这两个阶段在墙钟上限、串行与并行执行以及所审查的模块方面也存在差异，因此该比较是描述性的。
预算本身也有成本
随机测试还评估了该论文自身补救措施的成本。一轮预算削减将值从2.86减少到1.00，代价是每次运行遗漏0.11个缺陷(95% CI [0.005, 0.204], permutation p = 0.07)，该成本全部落在一个任务的一个缺陷上。一个强制的负对照拒绝了十次成功，这十次都是正确的工作。
LLM-as-a-judge 可靠性
该论文指出了模型评判者的已知特性：位置偏差和冗长偏差、对自身生成内容的偏好，以及代码审查模型将正确实现判为不符合的现象，更详细的审查提示会进一步提高错误率。在2026年的一项研究中，一个前沿评判者错误地标注了"标准后果判断的74.4%，但当后果反转时仅为3.3%"。记录没有改变，但评级改变了。
论文提出了什么
命题P4预测，增加评论家或使其更严格会使批评轮次和发现数增加超过确认缺陷的增加。论文的模块实施预算规则而非判决：stop_rule允许每个阶段进行一轮批评和一轮修复，阻断者仅在有具体情景、与任务目标的联系和协调员的确认时才计数，新的检查、轮次或角色仅在获得权限令牌时才被允许。
论文定义中的每个机制都在其记录中有文档，但这三个条件在单个组件中同时满足的频率未在此处的记录中确定。存在随机化测试以开始回答这个问题。
完整部分：随机化测试（9.5）、自强化循环（5.4）、授权范围扩大（5.1）、防守对抗防守（5.3）、夜晚对抗早晨（5.7）、模型评委（3.3）、移动的评委（3.4）、命题P4、模块设计（10.2）。
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets也在开发Poly A1，一个让来自不同公司的AI相互检查对方工作的应用程序。