笔记

人工智能代理事件日志的只读审计员

这是译文。权威版本是英文原文,引用请以原文为准。

人工智能监管

AI-Watchbird-Sheckley 是一个小型 Python 模块,读取多代理人工智能运行的事件日志,并报告其监管在增长、停滞或破坏工作的迹象。它没有权限:它从不阻止、编辑或打开任何东西。

为什么要审计监督循环本身

该论文于2026年9月14日审查了现有的保障措施、步骤与预算计数器以及模型判定评估器。所审查的公开文档中没有任何工具将监督循环本身作为测量单位。这些工具都没有衡量控制措施的增长、超出调查结果确定的预算的轮次、判决从不改变的保障、没有负对照的胜利或在上限处被破坏的部分工作。

设计:读取、报告,永不阻止

该模块使用Python 3编写,仅使用标准库,无网络访问。它作为包 ai-watchbird-sheckley 安装,并以同名命令运行;audit --json 输出机器可读的报告。它读取运行的事件日志并生成报告。其退出代码不取决于它报告的信号。其信号列表是冻结的,因此添加信号需要权限令牌和版本更改。它在干净运行时保持沉默,测试强制执行此行为。

它还附带三个预算规则作为管道可以调用的纯函数:

多智能体监督的九个信号

测量部分报告九个信号,W1至W9:权限扩张(一个未从已记录的任务目标衍生出来的阶段)、盲目或破坏性的守卫(对20项或更多决策的一项判决,所有批准均被撤销,或缺少必需的输入)、控制棘轮(无权限令牌下添加的控制)、自我维持的循环(轮次超支,或在没有确认阻塞因素的轮次后打开的轮次)、虚假胜利(无负控制或A/A测试的胜利)、为无人而构建(工件默认关闭,无调用者)、破坏的部分工作、未确认的阻塞因素推动的工作、以及无已记录作者的约束。

根据自身证伪者的测试

六个证伪者陈述一个声称遵守规则的部署将如何被驳斥,例如,如果在没有授权令牌的情况下可以安排第二轮审查,或者如果在上限处停止流程会丢弃其部分输出。每个都有一个测试。一个变异脚本应用十八个有针对性的变异;每一个都使测试套件变红,而仅编辑注释的对照变异使其保持绿色。

在六个回放日志上,干净对照和晨阶段未产生任何信号。在重建的长期运行上,其中各阶段实际运行了五、五及一轮,stop_rule将在预算点关闭所有三个。

模块不执行的功能

该论文直接陈述了其局限性:

该模块本身是一项新的控制措施,因此其自身的规则R3首先适用于它。当其端口被集成到作者的管道中时,该模块在退休条件下被接纳,在三次实际运行中未报告信号,并根据有日期的人工决定在9月15日被移除。

运行它

附录B提供了这些命令,从模块文件夹运行:pip install .,然后对于一个事件日志运行ai-watchbird-sheckley audit <log.jsonl>,运行ai-watchbird-sheckley replay replays/以重新生成回放表,以及运行python3 -m unittest -v进行单元测试和伪造程序测试。事件日志是一个JSON行文件,每行一个事件。

参考实现、测试、回放日志和随机化测试的数据已存档在Zenodo中,版本号为AI-Watchbird-Sheckley 1.1.0,其概念DOI为10.5281/zenodo.22774269,该DOI指向当前版本。

完整章节:模块(10)、已存在的内容(10.1)、设计(10.2)、伪造程序(10.3)、回放(10.4)、模块不做什么(10.5)、作者管道内部(10.6)、运行模块(附录B)。

阅读完整论文

Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658

Vadym Chernets还开发了Poly A1,这是一款让来自不同公司的AI相互审查工作的应用程序。

所有论文和笔记