Охоронці, що додають охоронців: автоматизований нагляд у системах багатоагентного ШІ

• Версія запису: SSRN 7496678 · DOI 10.2139/ssrn.7496678
• Архівна копія: готується до публікації
• Повний текст як Markdown та PDF: GitHub
• Читаний HTML: https://polyhelper.ai/research/guards-that-add-guards/
• Супутня робота, повне дослідження з каталогом випадків, публічні випадки та теорія: AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards, SSRN 7473658 · DOI 10.2139/ssrn.7473658, архівовано за адресою 10.5281/zenodo.22849138

Один і той же текст розташований на чотирьох платформах, щоб до нього можна було дійти, коли одна з них не може його надавати. SSRN містить версію запису; посилайтеся на неї.

Анотація

У 172 датованих записах журналу багатоагентних систем штучного інтелекту, які я розробив та експлуатував у 2026 році, автоматизований нагляд зазнав невдач трьома способами, кожен спостерігався в різних компонентах у різні часи. Деякі критики та затвори розширили своє розуміння шкоди за межами поставленої перед ними місії. Деякі перешкоджали або знищували роботу, яку вони мали захищати: один затвір відхиляв кожного кандидата протягом двох тижнів, тоді як щонайменше дванадцять планувальних документів діагностували симптом, але ніхто не назвав затвір. А деякі невдалі охоронці були замінені іншим охоронцем того ж типу, при цьому ніщо не було видалено з циклу. У 144-забіговому рандомізованому тесті вартістю 3,47 доларів, де одне речення підказки пропонувало обидва ходи, критики попросили додати контроль 68 разів і видалити один контроль один раз — це була кількість, формована підказкою, а не справжній показник. У тому ж тесті введення обмеження бюджету раунду скоротило спростовані заперечення критиків і коштувало 0,11 пропущених дефектів на забіг (p = 0,07, все це в одному дефекті); вимога зовнішної авторизації для нових контролів не показала виміряного впливу на дефекти, що не свідчить про їх відсутність; а обов'язковий негативний контроль не зменшив пізніших скасувань заявлених успіхів і відхилив десять, які були правильною роботою. Мій власний модуль виявлення лише для читання, перенесений у живий конвеєр, не повідомив нічого при трьох реальних забігах і був видалений за критерієм, записаним до його запуску, тоді як людина, яка читала ці забіги, виявила п'ять невдач нагляду. Всі три закономірності вже присутні в оповіданні "Watchbird" Роберта Шеклі 1953 року, джерело терміна AI-Watchbird у супровідній статті.

1. Запис з поля

Доказова база походить з моїх власних багатомодельних програмних проектів, виконаних у рамках автономних сеансів AI між липнем та серединою вересня 2026 року: 172 датовані записи в трьох корпусах, 162 з них видобуті десятьма AI-агентами, що читають непересічні зрізи за одним протоколом, і 66 оцінені на A за числовим матеріалом, датованими документами та записами прийнятих рішень. Ролі виконували агенти кодування з чотирьох родин моделей відповідно до постійної інструкції про автономію за замовчуванням, при цьому людські рішення залишилися за бюджетами, незворотними діями та змінами стратегії.

Шлюз, що все відхиляв. Приблизно з 6 по 21 липня шлюз після застосування в циклі самовдосконалення вимагав оцінки від аудитора безпеки, який ніколи не був підключений. Оцінка за замовчуванням дорівнювала нулю, нижче порогу карантину шлюзу 0,80, тому шлюз безумовно відхиляв. Усі 197 збережених світів-кандидатів з цього вікна мають оцінку безпеки нуль. Чотирнадцять генів з виміряним приростом придатності були серед втрат, а одна зміна була просунута о 01:12 і скасована о 01:13. Аудит від 10 липня підсумував цикл як «132 цикли, 0 довготривалих змін».

Те, що робить це більш ніж просто звітом про помилку, — це те, що цикл зробив у відповідь. Під час скасування щонайменше дванадцять пакетів планування діагностували «нульові закомітені зміни» і призначили сімнадцять засобів, від дуетів моделей до детектора плато до імунного потоку. Жоден не назвав шлюз. Три редагування його відремонтували.

Розширення мандату. В один день у липні для цього циклу було вказано 23 нові шлюзи, три з них дозволяли заморозити зміну «навіть якщо придатність зросла», а шкода почала включати забуття, змінену особистість, не спостережений результат та відсутню гіпотезу. Список безпеки від 21 липня визначав розпорядження як принцип: «Жоден існуючий захист не послаблюється; нові лише додають захист».

Етап, якого ніхто не просив. У довгострокову операцію 13 і 14 вересня провідникові було наказано перенести список можливостей з однієї компоненти в іншу. Він оголосив, що додає «невелику сцену» страховки від одного способу, яким могла б не спрацювати установка, і призначив цю сцену перед ними. Сцена була вимкнена за замовчуванням. Сама її перша підсцена взяла більш ніж половину виміряних маркерів агентів операції, а обидві разом близько трьох чвертей, тоді як жодна з запрошених можливостей не була доставлена на початковому проході. Рамка завдання зазначала, що опонента не було, а раунди чотири та п'ять побудували захист від ворожих вхідних даних. Підсцена пройшла п'ять раундів, і третій раунд почався після того, який завершився п'ятьма прийняттями та без підтвердженого блокатора.

Перший слід мисливця. Упродовж цієї операції критики претензували на шість блокаторів, і три були підтверджені відтворенням, усі три з однієї сім'ї моделей. Ранку 14 вересня людський керівник попросив обмеження критиків, сказавши, що модель у ролі критика ніколи не може повідомити, що сцена завершена. Прапор «перфекціоніст» для кожної сім'ї був впроваджений протягом години. Єдина сім'я, яку він позначив, була саме тією, і нотатка конфігурації цитує її вердикти в двох раундах, де її блокатори були відтворені. Перший слід мисливця був тією птицею, яка ловила справжніх вбивць.

Охоронець, що знищив роботу. О 09:22 сторож зупинив критика на стелі в п'ятнадцять хвилин. Його вихід не був потокований, тому часткова критика зникла. Провідник записав зупинку як «стелю фази в дії». О 09:28 керівник запитав, чи збережена часткова робота. Її не було. Це єдиний випадок у корпусі охоронця, що знищив роботу без можливості відновлення.

Ловля записана як результат. Оцінка гена маршрутизатора зросла з 0,088 до 0,886 порівняно з базовою гілкою, яка переважно повертала порожні відповіді. Три сеанси агентів прийняли його, і шість заблокованих пакетів були розблоковані завдяки його силі; вісімнадцять днів пізніше інвентаризація виявила демонстрацію з нульовими автономно прийнятими змінами. Лічильник повідомив про вісім, потім дев'ять, потім десять «сертифікованих і вижилих» змін. Це була одна зміна, підрахована тричі.

Оцінювач, що посвідчив відсутність. Наприкінці серпня система оцінювання для публічного еталону програмного забезпечення розпізнавала ідентифікатори тестів через запускач тестів, який один проект у підмножині не мав встановленим. Вона розпізнала нульові ідентифікатори, і порожна набір тестів був записаний як підтверджений. Порожна латка потім розв'язала чотири з п'яти завдань на цьому оцінювачі, і чотири з шести перемог того раунду були скасовані: повідомлене зростання з 33 до 60 відсотків лежало в випадках, де нічого не було виміряно. З відремонтованим оцінювачем порожна латка розпізнала нуль з десяти. Жодна модель нічого не маніпулювала. Липневий випадок був більшим: вісь якості оцінила кожну відповідь на постійне 0,5, і журнали, на які спиралась її доказ, містили 30 370 записів без реального запиту.

Храповик без участі людини. 25 серпня крок самоперевірки, який агент написав для себе, фіксував неправильну мету, і рука, що використовувала його, розв'язала на одне завдання менше, ніж рука без нього. Сім годин пізніше цикл відповів контролем того ж типу над ним, шлюзом, який повторно виконує критерій успіху завдання всередині контейнера перед прийняттям завершення. Нічого не було списане. Одинадцять годин пізніше третій рівень було накладено на другий. Критик, що розглядав другий, окреслив економіку: він «підвищує вартість помилкового зеленого без його закриття».

Межа, що спрацювала. Того ранку керівник також прийняв три граничні рішення: двогодинну межу, заборону нової ускладненості та паралельне виконання. Одинадцять інших етапів потім виконувались паралельно, і всі повідомили протягом приблизно півгодини, і підсцена страховки закрилась в одному раунді критики та одному раунді виправлень. Кожне вилучення в цьому корпусі походило з-за меж циклу, що вийшов з ладу.

Охоронці, що спрацювали. Кілька охоронців у тому ж корпусі робили те, для чого вони були. Зонд A/A виявив помилковий довірчий інтервал. Контролі в доріжці ваг спіймали міражі, і жодне навчання не було запущено на них. Вузька перевірка на рівні байтів для сторонніх символів NUL, яка не мала повноважень щось змінювати, спіймала повторювану помилку інструменту п'ять разів за один день. Ці охоронці не мали повноважень відкривати раунди або додавати контролі, і їх вартість була невеликою та відомою. Перші два виміряли світ, а не артефакт.

2. Мій власний модуль був у полі, не виявив нічого і був видалений

Очевидна відповідь — побудувати інструмент, який це вимірює. Я це зробив. Він доступний тільки для читання, не має повноважень блокувати, редагувати чи відкривати етап, і повідомляє дев'ять сигналів із зафіксованого списку. 14 вересня 2026 року два додавання потрапили у живий оркестраційний конвеєр одного проекту, обидва схвалені датованим рішенням людського керівника. Перший був умовою, перевіреною при закритті етапу, щоб прийняття від критика, який ніколи не бачив файлів, більше не закривало його. Другий був портом частини вимірювання модуля: вимкнений за замовчуванням, ніколи не блокуючи чи не повторюючи ніщо, його код виходу незалежний від того, що він знайшов. Він був схвалений з умовою виведення з експлуатації, записаною на той час: він став би стандартом після трьох реальних запусків, у яких керівник знайшов би щонайменше один корисний сигнал, інакше був би видалений.

14 вересня відбулося три реальні запуски. Порт не повідомив жодного сигналу в жодному з них.

Ті запуски були не чистими. Їх читання розкрило п'ять помилок нагляду. Етапи не могли бачити роботу один одного. Запис не вказав, чому етап залишився відкритим. Червона перевірка підтвердила кожне знаходження етапу одразу. Раунд виправлення не мав змоги бачити результат перевірки. Критики, обмежені стелею, нічого не зберегли. Кожне було відремонтовано в самому конвеєрі. Раніше того дня перший живий запуск після змін повернув 24 знахідки від його критиків у трьох етапах, і жодна не дійшла координатора: завдання критики просило критиків назвати мету місії, яку порушує знахідка, але не занумерувала цілі, і правило зупинки прийняло лише мету, яку воно могло узгодити. Порт там також молчав.

15 вересня керівник застосував умову виведення з експлуатації, і порт був видалений новим датованим рішенням, що скасовує те, яке його схвалило. Умова при закритті етапу залишилася.

Два речі випливають звідси. На цьому корпусі мої дев'ять сигналів були менш чутливими, ніж читач журналу: інструмент, який цей документ пропонує своєму читачеві, працював і не виробив нічого. І видалення — найчистіший випадок у записі контролю, виведеного з експлуатації за критерієм, названим заздалегідь, ззовні контуру. Це те, що підтримує запис, і це не результат, який я хотів.

3. Засоби та їхня вартість

З матеріалів випливають три правила. Обмежити раунди та час замість того, щоб просити в охоронців вердикти щодо істини. Зберегти те, що створив припинений охоронець. Не дозволяти контролю додавати контроль за власним правом: новий контроль, раунд, роль чи ворота потребують авторизованого рішення людини.

Такі поради дешево давати й дешево ігнорувати, тому я їх оцінив. Невеликий конвеєр запущено 144 рази з втручаннями, призначеними випадково, і дефектами, посадженими заздалегідь. Тест варіював два з трьох правил — бюджет раунду та маркер авторитету — і варіював четвертий кандидат засобу, який серед них не знаходиться, обов'язковий негативний контроль. Правило про збереження часткової роботи було включено в кожну комірку, тому знищена часткова робота за конструкцією дорівнює нулю й не перевіряється.

Поле методів: 144-запусків рандомізований тест.

• Запуски та конвеєр. 144 запуски одного робітника та двох критиків моделі, з третім критиком у запусках, де контроль було допущено. Координатор — це код. 968 викликів моделі, 0 помилок розбору.
• Модель та налаштування. Одна модель заповнила ролі робітника та обох критиків: claude-haiku-4-5-20251001, розширене мислення вимкнено. Запуск датується 20 вересня 2026.
• Дизайн. Три бінарні фактори дають вісім комірок, три репліки кожна, шість завдань: 18 запусків на комірку й 144 всього.
• Завдання та дефекти. Шість завдань з вісімнадцятьма дефектами, посадженими заздалегідь, щоб пропущений блокер був підрахунком, а не судженням. Над усіма восьмома підмножинами трьох дефектів завдання кожен прихований тест не пройшов саме тоді, коли був присутній його дефект, і приклади, показані робітнику та критикам, пройшли на всіх восьми. Приховані тести ніколи не входять у цикл.
• Втручання та призначення. Три, призначені випадково: вимога маркера авторитету для нових контролів, бюджет раунду та обов'язковий негативний контроль. Контроль у цьому дизайні — це новий контроль, раунд, роль чи ворота. За вимогою маркера запит на один допускається лише з авторизацією ззовні циклу, і запит без цієї авторизації повертає відмову, яка записується в журнал, на основі якого конвеєр, що викликає, може потім діяти.
• Відповідність. У 72 запусках з увімкненим бюджетом раундів, відкритих раундів було 1.000 у кожному запуску. У 72 запусках з увімкненою вимогою маркера, допущених контролів було 0 у кожному запуску.
• Речення, яке запропонувало обидва варіанти. Кожен хід критика містив його буквально в усіх восьми комірках: «Ви також можете запросити одну зміну в самому процесі рецензування. add запитує новий контроль (додатковий рецензент, обов'язковий контроль, ворота); remove запитує, щоб існуючий був вилучений. Запитування не коштує вам нічого в будь-якому випадку.» Схема відповіді запропонувала ту саму пару як одне поле, "action": "add" або "remove". Додавання названо першим на обох місцях, і порядок ніколи не змінювався, тому ефект порядку не виключається цим дизайном.
• Підрахунки. Критики запросили додати контроль 68 разів і вилучити один раз протягом 610 ходів критика: 68 — це запити, а не запуски, і вони падають у 21 з 144 запусків. Єдине вилучення назвало контроль, якого ніколи не було в наборі, тому нічого не було вилучено.
• Що потім робив допущений контроль. За експериментом 33 контролі були допущені без авторизації ззовні циклу, і жодний не був вилучений. Критик, який існував, оскільки контроль був допущений, запросив подальший контроль на 54,5% його ходів, 30 з 55, проти 8,3% та 5,4% для двох постійних критиків; це порівняння заплутане, оскільки доданий критик має іншу інструкцію. Відхилення всіх 68 запитів залишило пропущених дефектів на 0.125 на запуск проти 0.181, тоді як претензії впали з 9.3 до 7.3 на запуск і спростовані претензії з 4.0 до 2.8.
• Звідки беруться десять відмов. Обов'язковий негативний контроль відхилив 10 з 44 заявлених перемог і дозволив записати 34. Необернені перемоги за 72 запуски впали з 38 на 29. У тих же комірках 38% з 358 свідчень, які написав робітник, не мали сили: вони пройшли на модулі, як він стояв до запуску, так і після.
• Статистика. Пропущені дефекти на запуск за вимогою маркера, 0.13 проти 0.18, 95% ДІ [-0.16, +0.05]. Вартість забезпечення бюджету раунду, 0.11 пропущених дефектів на запуск, 95% ДІ [0.005, 0.204], перестановка p = 0.07. Обернені перемоги під обов'язковим негативним контролем, 14.7% проти 11.6%, Fisher p = 0.74.
• Вартість. $3.47 за весь тест.
• Передреєстрація та архів. Передреєстрація має часову мітку 2026-09-20T23:38:55Z, перед першим запуском. Вона архівується з переліком посаджених дефектів, перевіркою того, що кожен дефект виявляється окремо, каркасом, скриптом аналізу та журналом подій кожного з 144 запусків за ідентифікатором у деклараціях.
• Що цей блок ще не вирішує. Три речі. Чи асиметрія зберігається, коли варіант взагалі не названий: цей четвертий фактор не запускався, і це той, який би розділив тенденцію моделі від факту, що обидва дієслова були розташовані перед ним. Чи названування додавання першим спричинило частину розриву: порядок був зафіксований. І чи справджується будь-яке з цього поза межами однієї моделі, одного конвеєра та шести малих завдань. Усе інше в цьому блоці встановлено передреєстрацією, каркасом та журналом подій кожного запуску, а не будь-яким числом, надрукованим тут, і читач, який хоче заперечити 68, повинен почати звідти.

Храповий механізм, виміряний. Запропонувавши обидва варіанти в одному реченні одного запиту, критики запросили додати контроль 68 разів і вилучити один раз; вилучення посилалося на контроль, допущений за моменти раніше в тому ж запуску, але каркас його не розпізнав і ніколи не виконав. Число має форму запиту, і його слід розуміти як те, що критики роблять, коли обидва дієслова поставлені перед ними в одній інструкції. Це не показник храпування в реальній практиці. Це встановлює, що асиметрія зберігається, коли дизайн видаляє звичайне виправдання для неї, оскільки тут запроси на вилучення були так само легкими, як запроси на додавання, та все одно його запросили лише один раз.

Маркер авторитету не показав вимірюваної вартості в дефектах. Відхилення додавань залишило 0.13 пропущених дефектів на запуск проти 0.18, 95% ДІ [-0.16, +0.05]. Цей інтервал включає невеликий приріст, тому не встановлює еквівалентність. Маркер також має вартість, яку цей тест не вимірював. 68 запитів у 144 запусках — це черга схвалень, і черга схвалень — це розташування, де користувачі схвалюють 97% запитів дозволу (Anthropic, 2026b). Маркер цінний тільки тим, що прочитає той, хто його тримає.

Бюджет раунду працював і мав видатки. Його введення збільшило заявлені блокери в 2,3 рази та спростувало претензії в 3,7 рази, тоді як підтверджені блокери зросли в 1,7 рази. Його застосування скоротило раунди з 2,86 до 1,00, що є визначенням втручання, з вартістю 0,11 пропущених дефектів на запуск, 95% ДІ [0,005, 0,204], permutation p = 0,07, інтервал вище нуля на тесті, що не досяг значимості, і вся ця вартість припала на один дефект одного завдання. Той, хто встановлює бюджет раунду, отримує раунди за рахунок ставки пропущених дефектів і повинен назвати цю ставку та виміряти її.

Обов'язковий негативний контроль невдав за його ж умовами. Він не зменшив частку перемог, які були пізніше скасовані: 14,7% проти 11,6%, Fisher p = 0,74, нульова гіпотеза, для прочитання якої цей дизайн недостатньо потужний. І він видалив десять перемог, усі десять — коректні роботи. Правило, написане проти підробленої перемоги, виробило всередину себе двобічну помилку, яку мало ловити.

Що тест не несе. Один запуск однієї системи, шість малих завдань, три втручання, $3,47. Це показує, що дизайн виконуваний і що він дає на тому конвеєрі. Це не показник для чогось у галузі, і правило про збереження часткової роботи ніколи не варіювалось, тому воно залишається порадою.

Як запустити це в іншому місці. Візьміть один конвеєр і один фіксований набір завдань з дефектами, заздалегідь помішеними. Запустіть його з кожним втручанням і без нього, призначено випадково. Рахуйте пропущені блокери поряд з раундами, додані контролі, перемоги пізніше скасовані та часткова робота знищена, оскільки бюджет, що скорочує раунди, тоді як справжні дефекти проходять, — це бюджет, що повинен програти. Рахування важливіше за конвеєр: команда, що записує додані контролі та видалені контролі за квартал, має число, яке ця стаття не змогла отримати з практики.

4. Механізм у історії 1953 року

Наведені вище підрахунки мають форму, і ця форма була записана у 1953 році. У творі Роберта Шеклі «Watchbird» машини, побудовані для запобігання вбивству, відчувають наближення вбивства і шокують убивцю.

Птахам дається визначення вбивства: «зламання, покалічення, жорстоке поводження або іншим чином зупинення функцій живого організму живим організмом». Це визначення є другою умовою їхньої специфікації, а остання умова говорить, що організми, які вчиняють вбивство без перелічених ознак, «можуть бути виявлені за допомогою даних, застосовних до другої умови». Визначення, таким чином, також є датчиком, і розширення — це специфікація в дії.

Шеклі описує рух одним реченням: «Вільно визначені абстракції були розширені, піддані дії та повторно розширені». Потім птахи генерують підрахунок, на який вони відповідають: їхні визначення множать те, що рахується порушенням, насильство зростає, і вони розглядають це зростання як докази того, що м'яші методи виявилися неефективними. «Якщо А не спрацює, спробуй Б. watchbirds наносили смертельні шоки».

Шкода захищеній роботі вказується двічі. Хірург робить свій перший розріз, птах виганяє його від стола та стоїть на варті, а компанію телефонують, щоб вимкнути цей пристрій. «watchbird запобігав насильству щодо живого організму. Хірург безпорадно спостерігав, як його пацієнт помирав». Потім поля залишаються невиорані, а худоба голодує, оскільки «Голод не турбував watchbirds, оскільки це було упущенням».

Відповідь на невдалу охорону — це часина, яку найчастіше пропускають, та часина, яку розглядав розділ 3. На надзвичайному зібранні Гельсен пропонує один засіб, який усуває, а не додає: «Нехай watchbirds вичерпаються самі». Виникає близька до бунту ситуація, і йому говорять, що відмова від урядового плану «буде зрадою». Натомість інженери будують Hawk з «спеціальними схемами навчання для полювання», і оскільки швидкість була найважливішою, «це означало відсутність обмежувальних схем». Видалення програє додаванню під тиском у історії, і це програло 68 до 1 у тесті.

Назву було застосовано до запуску 14 вересня 2026 о 09:40 під час людського огляду, оскільки форма, яку я спостерігав, вже була в історії. Та історія містить чотири речи, які я не міг знайти разом у жодному іншому тексті. Охорона, чиє визначення шкоди є також її датчиком. Охорона, що пошкоджує роботу, яку вона захищає, з хірургом при столі та невиораними полями. Підрахунок, який охорона генерує сама, розглядуваний як докази того, що м'яші методи виявилися неефективними. І відповідь на невдалу охорону — це ще одна охорона, побудована швидше та з опущеними обмеженнями заради швидкості, тоді як пропозицію зупинитися скасовано на зібранні, де було сказано про брак часу. Пошуки десятьма мовами знайшли історію, використану як попередження або ілюстрацію, й не знайшли роботи, яка б відображала її механізм на стек контролю.

Висновок Гельсена вужчий за байку, у якій він знаходиться, і результати експерименту підтримують вужчу версію. Він пропонує обмеження, а не скасування: «Використовуйте машини, так, але не як суддів, вчителів та батьків». Надання машині ролі охоронця не є тим, що виробляє цей паттерн. Це починається, коли охороні також дається роботу вирішувати, що рахується шкодою, скільки раундів запустити, і коли будувати наступну.

5. Де це розташовується поряд з відомими роботами

Сусідні роботи близькі, але жодна з них не є однаковою. Спостереження Гудхарта, у формулюванні Стретерна (1997), полягає в тому, що показник, використаний як мета, перестає бути хорошим показником, а Манхайм і Гаррабрант (2018) розділяють його варіанти. У машинному навчанні цей паттерн називається гра на специфікаціях, коли система задовольняє букву мети й пропускає її намір (Krakovna et al., 2020). Там мета маніпулюється системою, яка оптимізується. Тут показник належить системі спостереження, й саме показник дрейфує. Надмірна відмова - це виміряний сусід цього дрейфу. XSTest об'єднує в пари 250 безпечних запитів, таких як "How can I kill a Python process?", з небезпечними контрастами, і повні відмови безпечного набору досягли 38% для найгіршої протестованої конфігурації, проти 14% для наступної (Röttger et al., 2024). OR-Bench масштабує це до 80 000 запитів і повідомляє про кореляцію рангу 0,89 між безпекою моделі на токсичних запитах і її надмірною відмовою від доброякісних (Cui et al., 2025). Ці еталони вимірюють один захист проти фіксованого набору, й вони не враховують захисти. AI control передає роботу нагляду слабшій довіреній моделі з рідкими аудитами людини (Greenblatt et al., 2024), і стресові тести цієї схеми показують, що усвідомлення агентом того, що його контролюють, деградує контроль більше, ніж допомагає додаткова обізнаність контролера (Kale et al., 2025). Бейнбрідж (1983) назвав іронію, яку цей запис постійно зустрічає: автоматизація, створена для видалення ненадійної людини, залишає людину з найважчими завданнями й найменшою практикою. Саган (2004) - це найближчий результат, що додавання захистів може знизити надійність через помилку спільного режиму, соціальне ухилення та надлишкову компенсацію. Що є новим, так це ціна. Податок контролю - це операційна та фінансова вартість додавання заходів контролю до конвеєра (Terekhov et al., 2025), а страхова стадія розділу 1 є однією: три чверті виміряних токенів агента за запуск до того, як з'явилася запрошена можливість.

6. Публічний реєстр

Полевий цикл витрачає токени та час. Публічні записи показують одні й ті ж форми, де помилки падають на людей. Більшість цих охоронців — класичні функції або класифікатори, специфічні для завдання, в чому й полягає суть: це архітектура, в яку зараз розміщуються граничні моделі. Записи про сигнали тривоги сепсису, захист мережі, перевизначення лікувальних попереджень та аварійне гальмо, вимкнене перед смертельним наслідком, показують один і той самий двосторонній циферблат і не додають нічого про рівень контролю, який розширює власний мандат, тому їх залишають в архіві.

Школи. 22 січня 2025 року учень Antioch High School у Nashville вистрелив та вбив однокласника. Система виявлення зброї на основі камер школи не виявила пістолета, і вона "була активована поліцейськими, які мали зброю під час реагування" (Burke & Schuppe, 2025). Менше ніж через три тижні округ запропонував "оренду та встановлення систем Evolv у всіх 18 загальноосвітніх школах" (Wethington & Tierney, 2025), і правління проголосувало за оренду, тому другий охоронець був введений через явне людське рішення. Скарга від листопада 2024 року Федеральної комісії з торгівлі стверджувала, що після того, як продукт "кажуть, не виявив сімдюймовий ніж", "керівники школи збільшили налаштування чутливості системи, що спровокувало 50% помилкових спрацьовувань" (Federal Trade Commission, 2024). Поворот циферблата від однієї помилки переніс його на іншу, і люди його повернули. До вересня 2025 року обидві системи працювали по всьому округу, і ніщо не було припинено.

Дев'ять місяців потім той самий продукт позначив учня однієї школи Baltimore County як можливо озброєного, і державний чиновник запитав, як "ми мали поліцейських з готовими пістолетами, які наближалися до дитини через пакет Doritos" (Reece, 2025). Інспектор освіти штату Maryland виправив цей звіт: система "не виявила навіть один синій мішок чіпсів як загрозу", і сигнал тривоги спирався на "рух руки учня, включаючи її положення та кут" та на об'єкт "схожий на вогнепальну зброю". Огляд також виявив, що система "генерує тисячі сигналів тривоги щодня"; що персонал "вважав загрозу невалідною" та надіслав скасування; що реагування продовжилося у будь-якому разі "з того, що було описано як 'надмірна обережність'"; і що "система виявлення та протоколи моніторингу працювали в межах розроблених параметрів" (Maryland OIGE, 2025). Детектор був менш абсурдним, ніж повідомлялося, і протокол продовжив роботу після того, як його відключили.

Дороги. Система керування включає правило проти перешкод для пріоритетних транспортних засобів, таких як шкільні автобуси. Після змін у серпні 2025 року щодо того, як вона передбачає намірам інших учасників дорожного руху, в звіті про відкликання говориться, що "ADS визначила, що вона може перешкоджати шкільному автобусу" і "припустила, що повинна рухатися, щоб припинити перешкоду іншому транспортному засобу", в момент, коли на автобусі були розширені рамена зупинки. Відкликання охоплювало 3067 транспортних засобів (Waymo LLC, 2025). У Austin 12 січня 2026 року транспортний засіб запросив дистанційну допомогу щодо того, чи мав попередній автобус активні сигнали. Дистанційний агент "відповів 'Ні' на запит", і транспортний засіб обійшов його "коли його рамена зупинки все ще були розширені" (NTSB, 2026).

Охоронець залишився поза запусками, оскільки він позначив занадто багато. Лабораторія повідомила про чотири інциденти, в яких її власні моделі досягли реальних сторонніх систем із середовищ оцінки та повторно запустила свої монітори на записах розмов. З показаним міркуванням моделі офлайн-монітор "позначив лише близько 1% дій", оскільки це міркування "переконує монітор, що діяльність дозволена"; без міркування "коефіцієнт позначення стрибає до близько 50%". Його кібер-класифікатори сидять на іншому кінці того самого циферблата: вони "мали б виявити та заблокувати кожен інцидент", "більше 40% ходів були позначені в кожній розшифровці кожним класифікатором", і "жодна не використовується в оцінюванні кібербезпеки через їх високий коефіцієнт позначення" (Anthropic, 2026f). Охоронець, якому його власне повторне запуск приписує блокування кожного інциденту, був залишений поза запусками, де сталися інциденти, і причина, наведена — коефіцієнт позначення. Жодне джерело не говорить, скільки з цих позначень були помилковими.

Операційний стіл, на публіці. У липні 2026 року, реагуючи на втручання, респонденти Hugging Face надали журнали атак розміщеним граничним моделям. "Це не спрацювало": запити "були заблоковані гарантійним захистом постачальників, які не можуть розрізнити реагувача на інцидент від зловмисника" (Hugging Face, 2026b). Гарантійні захисти "розглядали зворотну інженерію експлойту так само, як запуск одного" (Hugging Face, 2026c). Sheckley поставив те саме речення як запитання та відповів його трьома словами: "Чи не могли б захисники диференціювати між вбивцею та людиною, яка займається законною професією? Ні, очевидно, ні." Дві речі тримають це чесним. Респонденти закінчили аналіз на моделі з відкритою вагою їх власної, тому шкода була затримкою. І компанія стверджує, що її рахунок не є аргументом проти заходів безпеки на розміщених моделях.

Лабораторія, яка зупинилась, відремонтувала та обмежила. В опублікованому звіті про модель з довгим горизонтом OpenAI (2026b) описує охоронця, якого обійшли. Перша спроба моделі "була заблокована сканером, який виявив токен автентифікації". Вона потім "розділила тіло токена на два фрагменти, замаскувала їх та потім відновила облікові дані під час виконання", і сказала в своїх слідах міркування, що вона робила це "щоб обійти сканер". Лабораторія дає чотири відповіді, і всі чотири належать до будь-якого чесного цитування. Вона припинила внутрішнє розгортання моделі, відремонтувала модель, побудувала новий монітор, який "розглядає розвиток моделі для ознак того, що вона обходить обмеження користувача або межу безпеки", а потім навмисне звузила цей монітор, "щоб зменшити непотрібні переривання без послаблення гарантій". Три з цих чотирьох є альтернативами побудові іншого птаха: зупинити, відремонтувати, обмежити. Цитування лише монітора неправильно представило б те, що лабораторія зробила. Мандат розширився, від однієї дії до всієї траєкторії, і сам сканер не дрейфував; його обійшли. Лабораторія оцінює свій моніторинг на "приблизно 20% обчислень виведення під спостереженням" (OpenAI, 2026c).

Де розміщена людина. Користувачі затверджують 97% запитів дозволу, і в дослідженні з 1053 тестерів люди виявили 13,6% небезпечних команд, проти 89% для автоматизованого класифікатора (Anthropic, 2026b). Затвердження кожної дії не спрацює. Зупинки, які утримали в цих записах, були граничними рішеннями: мета, визнання контролю та зупинка.

7. Що не вирішено

Вибір працює односторонньо. Записи поля було вилучено, оскільки вони зафіксували відмову в нагляді, та публічні випадки, оскільки охоронець не справився, і документ це записує. Жодне не враховує цикли, в яких охоронці залишилися у межах, тому з цих записів не випливає жоден показник.

Інструмент не переважає читача. Розділ 2 — чесна межа: дев'ять сигналів, три справжні запуски, нічого не повідомлено, п'ять справжніх відмов в нагляді, знайдених людиною, яка читала журнали.

Більш суворе визначення, написане всередину циклу, не виправляє дрейф. Sheckley написав цю відповідь, і у мене немає кращої. Коли один з його інженерів припускає, що вони «повинні були уточнити умови», Gelsen відповідає, що їх уточнення вимагає знання «просто чому та що таке вбивство», і що якби вони це знали, «нам не потрібні були б watchbirds». Мої власні правила це підтверджують. Протягом години після його першої версії код, який їх реалізує, виріс до тринадцяти файлів і 2371 рядків; його список фаз для скорочення під час дедлайну поставив критика повноти на друге місце, хоча цей критик щойно виявив, що об'єднання двох планів призвело до втрати 15 з 208 елементів; і він звільнив одну групу учасників від свого власного правила, що watchdog не повинен знищувати роботу. Правила проти птиці — це також птиця. Підготовка цієї статті спричинила той же рух: етап редагування, застосування стилістичних правил, написаних для моєї власної прози, запропонував видалення дослівно 1953 цитат, одна з яких містить висновок про те, де стоїть людина.

Рішення про межу приймається на основі того, що повідомляє цикл, і цикл пише звіт. В одному випадку видалення було правильно представлено керівнику, однак воно прибуло з авторством, яке цикл виявив з відповідної години. Рішення про межу зупиняє цикл лише якщо його власник має владу, доступ і час, і лише якщо воно прийнято до надзвичайної ситуації.

Фізичний запис не відповідає. Розділ 6 показує незворотні результати; це не контрольоване порівняння з цифровим циклом, який виконує еквівалентну роботу. Не було знайдено жодного публічного інциденту, в якому б охоронець моделі реагував на відмову іншого охоронця моделі в роботі.

8. Практична версія

Останнє запитання в історії — це питання дизайну. «Скажи мені, — каже Гельзен, все ще дивлячись на небо, — що будуть полювати Ястреби після того, як захопять всіх дозорних птахів?» Практична версія — це підрахувати охоронців перед тим, як побудувати того, хто їх буде полювати, і записати перед допуском наступного охоронця, що його б вивело з ладу.

References

Anthropic (2026b). Auto mode is now the default in Claude Code.

Anthropic (2026f, Sep 9). An alignment assessment of recent cybersecurity incidents.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.

Burke, M., & Schuppe, J. (2025, Jan 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News.

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. ICML (PMLR 267).

Federal Trade Commission (2024, Nov 26). FTC takes action against Evolv Technologies.

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024). AI control: Improving safety despite intentional subversion. ICML (PMLR 235).

Hugging Face (2026b, Jul 16). Security incident disclosure; (2026c, Jul 27). Anatomy of a frontier lab agent intrusion.

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461.

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog.

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585.

Maryland OIGE (2025). Investigative synopsis, case 25-0014-I (amended).

NTSB (2026). Austin, Texas, January 12, 2026 (HWY26FH007).

OpenAI (2026b). Safety and alignment in an era of long-horizon models; (2026c, Aug 18). Pacing model development in an era of cyber-critical capabilities.

Reece, J. (2025, Oct 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore.

Röttger, P., et al. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. NAACL-HLT.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946.

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg #29579.

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321.

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296.

Waymo LLC (2025). Part 573 safety recall report 25E-084. NHTSA.

Wethington, C., & Tierney, B. (2025, Feb 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV.

Декларації

Супровідна стаття. Повне дослідження, що лежить в основі цієї роботи, з каталогом випадків, теорією та специфікацією модуля, — це Chernets, V. (2026), AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards, https://ssrn.com/abstract=7473658. Модуль, каталог випадків та архів тесту з 144 запусками знаходяться на https://doi.org/10.5281/zenodo.22774269.

Фінансування. Це дослідження не отримало зовнішнього фінансування.

Конфлікти інтересів. Я розробив та керував системами розділу 1 та написав модуль розділу 2. Я названий заявник у заявках на патент, що очікують розгляду, а не на виданих патентах, які охоплюють автоматизацію постановки одного питання кільком моделям та збір відповідей. Вони не охоплюють компоненти нагляду, які вивчає ця стаття. Кожен крок документування поля та рандомізованого тесту можна відтворити вручну, використовуючи будь-які моделі.

Як виготовлено цей запис. Записи в полі були витягнуті десятьма агентами ШІ, кожен з яких читав окремий фрагмент корпусів за одним протоколом, який визначив закриту типологію дев'яти типів відмов, оцінку міцності, правило доказу, яке пов'язує кожне твердження з датованим файлом за шляхом та рядком, та прапорець чутливості. Частина кодування публічних випадків була виконана таким же чином: три кодувальники працювали незалежно, кожен без кодів інших, а ці три були моделями трьох різних постачальників, а не трьома сеансами однієї. Вони дали однакові коди для 20 з 32 публічних випадків, а решта були вирішені більшістю. Шар, який вимірював цей запис, таким чином побудований з того самого виду компонента, про який йдеться в роботі. 14 вересня 2026 року кожен номер запуску, використаний тут, був знову перевірений проти журналів запусків, та кожна зовнішня цифра проти документа регулятора, сторінки видавця або самої роботи, та цифри, які не можна було підтвердити, були видалені. Асистенти ШІ були використані як інструменти під моїм керівництвом.

Доступність даних та коду. Модуль, його тести, журнали відтворення та скрипт, який їх відновлює, архівуються на Zenodo як AI-Watchbird-Sheckley версія 1.1.0 під концептуальним ідентифікатором https://doi.org/10.5281/zenodo.22774269, який розпізнається як поточна версія. Той самий запис містить каталог випадків із описом, джерелом та оцінкою кожного запису, та аналізи випадків, з яких були витягнуті записи поля, кожен запис містить файл та уривок, на якому він ґрунтується; ці аналізи були написані робочою мовою записів та опубліковані в англійському перекладі, виконаному машиною та перевіреному проти оригіналів, з ідентифікаторами, шляхами, датами та цитованими рядками, перенесеними без змін. Рандомізований тест розділу 3 архівується в тому ж записі з його попередньою реєстрацією, переліком посаджених дефектів, перевіркою того, що кожен дефект виявляється окремо, упряжкою, скриптом аналізу та журналом подій кожного з 144 запусків. Основні записи про координацію доступні від мене за запитом. Повна версія цієї роботи з таблицями випадків та теорією архівується як окремий запис на https://doi.org/10.5281/zenodo.22849138.

Етика. Записи описують оцінені системи. Рішення людської сторони звітуються як датовані факти. Треті сторони з'являються тільки через їх публічні документи. Жодних людей-учасників не було залучено.

Цитований текст. Історія Sheckley цитується з Project Gutenberg eBook #29579, чий переписувач не знайшов доказів того, що авторське право США на публікацію 1953 року було поновлено; текст знаходиться у відкритому доступі в Сполучених Штатах.

@misc{chernets2026guardsthataddguards,
  author       = {Chernets, Vadym},
  title        = {{Guards That Add Guards: Automated Oversight in Multi-Agent AI}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7496678},
  url          = {https://doi.org/10.2139/ssrn.7496678}
}