人工智能代理事件日志的只读审计员
这是译文。权威版本是英文原文,引用请以原文为准。
AI-Watchbird-Sheckley 是一个小型 Python 模块,读取多代理人工智能运行的事件日志,并报告其监管在增长、停滞或破坏工作的迹象。它没有权限:它从不阻止、编辑或打开任何东西。
为什么要审计监督循环本身
该论文于2026年9月14日审查了现有的保障措施、步骤与预算计数器以及模型判定评估器。所审查的公开文档中没有任何工具将监督循环本身作为测量单位。这些工具都没有衡量控制措施的增长、超出调查结果确定的预算的轮次、判决从不改变的保障、没有负对照的胜利或在上限处被破坏的部分工作。
设计:读取、报告,永不阻止
该模块使用Python 3编写,仅使用标准库,无网络访问。它作为包 ai-watchbird-sheckley 安装,并以同名命令运行;audit --json 输出机器可读的报告。它读取运行的事件日志并生成报告。其退出代码不取决于它报告的信号。其信号列表是冻结的,因此添加信号需要权限令牌和版本更改。它在干净运行时保持沉默,测试强制执行此行为。
它还附带三个预算规则作为管道可以调用的纯函数:
- R1、
stop_rule:每个阶段进行一轮批评和一轮修复。阻塞因素仅在具有具体场景、指向已声明任务目标的链接及协调员确认的情况下才计数。它返回fix_once、close、incomplete或cut,永不返回新的阶段。 - R2、
settle_at_ceiling:保留参与者在上限前生成的内容,标记为部分。 - R3、
admit_control:仅当拥有权限令牌时才允许新检查、新轮次、新角色或新门;否则作为记录返回拒绝。
多智能体监督的九个信号
测量部分报告九个信号,W1至W9:权限扩张(一个未从已记录的任务目标衍生出来的阶段)、盲目或破坏性的守卫(对20项或更多决策的一项判决,所有批准均被撤销,或缺少必需的输入)、控制棘轮(无权限令牌下添加的控制)、自我维持的循环(轮次超支,或在没有确认阻塞因素的轮次后打开的轮次)、虚假胜利(无负控制或A/A测试的胜利)、为无人而构建(工件默认关闭,无调用者)、破坏的部分工作、未确认的阻塞因素推动的工作、以及无已记录作者的约束。
根据自身证伪者的测试
六个证伪者陈述一个声称遵守规则的部署将如何被驳斥,例如,如果在没有授权令牌的情况下可以安排第二轮审查,或者如果在上限处停止流程会丢弃其部分输出。每个都有一个测试。一个变异脚本应用十八个有针对性的变异;每一个都使测试套件变红,而仅编辑注释的对照变异使其保持绿色。
在六个回放日志上,干净对照和晨阶段未产生任何信号。在重建的长期运行上,其中各阶段实际运行了五、五及一轮,stop_rule将在预算点关闭所有三个。
模块不执行的功能
该论文直接陈述了其局限性:
- 没有原始日志进入重放中。这些日志是从已发表的计数重建的,其中"未发布确切数字时,使用并标记最小合理值"。
- 信号报告存在某种模式。原因和损失超出了信号测量的范围。
- 它仅能看到已记录的内容。从未被记录的门、从未被记录的目标,以及人们因存在防护而停止尝试的工作都对其不可见。
- 它是数字化的、只读的,并且不能向机器人、无人机、自动驾驶仪或执行器发送命令。具体化的配置文件仅被提议作为事件格式。
该模块本身是一项新的控制措施,因此其自身的规则R3首先适用于它。当其端口被集成到作者的管道中时,该模块在退休条件下被接纳,在三次实际运行中未报告信号,并根据有日期的人工决定在9月15日被移除。
运行它
附录B提供了这些命令,从模块文件夹运行:pip install .,然后对于一个事件日志运行ai-watchbird-sheckley audit <log.jsonl>,运行ai-watchbird-sheckley replay replays/以重新生成回放表,以及运行python3 -m unittest -v进行单元测试和伪造程序测试。事件日志是一个JSON行文件,每行一个事件。
参考实现、测试、回放日志和随机化测试的数据已存档在Zenodo中,版本号为AI-Watchbird-Sheckley 1.1.0,其概念DOI为10.5281/zenodo.22774269,该DOI指向当前版本。
完整章节:模块(10)、已存在的内容(10.1)、设计(10.2)、伪造程序(10.3)、回放(10.4)、模块不做什么(10.5)、作者管道内部(10.6)、运行模块(附录B)。
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets还开发了Poly A1,这是一款让来自不同公司的AI相互审查工作的应用程序。