Что отзыв школьного автобуса говорит о дистанционном надзоре
Это перевод. Основная версия — оригинал на английском; ссылайтесь на него.
Два отдельных документа из публичных записей содержат случаи проезда автономных транспортных средств мимо школьных автобусов с поднятыми сигнальными плечами. В одном из них правило внутри системы управления отменило остановку; в другом система попросила человека, и человек ошибся. Если читать их вместе, они показывают, почему в работе утверждается, что надзор человека должен применяться к нескольким граничным решениям, а не к отдельным действиям.
Два события, а не одно
Это разные события и их не следует объединять.
Отзыв. Система автоматического вождения Waymo включает правило, которое не должно препятствовать приоритетным транспортным средствам, таким как школьные автобусы. Выпуск программного обеспечения в августе 2025 года изменил способ, которым система предсказывает намерения других участников дорожного движения. Впоследствии, согласно отчёту компании об отзыве, "система автоматического вождения определила, что она может препятствовать школьному автобусу или другому приоритетному транспортному средству, а затем пришла к выводу, что она должна продолжать движение, чтобы перестать препятствовать другому транспортному средству", в момент, когда у школьного автобуса был выдвинут знак остановки. Отзыв охватил 3 067 автомобилей. Согласно исправлению, система "не отдаёт приоритет движению для избежания препятствования другим транспортным средствам перед надлежащей остановкой перед школьным автобусом".
Удалённый оператор в Остине. 12 января 2026 года в Остине беспилотный автомобиль остановился позади школьного автобуса и запросил у удалённой помощи, является ли это школьным автобусом с активными сигналами. Согласно предварительному отчёту National Transportation Safety Board, удалённый оператор "ответил 'Нет'" на запрос, и транспортное средство "возобновило движение и проехало мимо школьного автобуса, пока его знаки остановки были ещё выдвинуты".
Что показывает каждый из них
При отзыве срабатило защитное правило там, где должна была действовать более сильная защита — защита детей в автобусе. В статье это расценивается как документирование вреда защищаемым (условие 2 её определения). Отмечается, что документы фиксируют ситуации, на которые среагировало правило, а не изменённое определение вреда, поэтому запись не показывает расширения охраной своего мандата.
В случае Остина в статье дано прямое прочтение: «сомнение модели было справедливо, и удалённый агент, которого спросили об одном действии, ошибся». Система поступила так, как требует осторожный дизайн. Она остановилась и спросила. Получив ответ человека, она продолжила.
Отказ человека в цикле и место нахождения человека
Утверждение P6 предсказывает, что надзор человека будет действенным там, где он сосредоточен на нескольких граничных решениях (цель, допуск нового контроля, остановка), принимаемых с доступом к информации о мире и временем для действия, и не будет действенным там, где он распределен по одобрениям отдельных действий или осуществляется через артефакты. Удаленный агент, отвечающий да или нет на вопрос об одном действии, это второй вариант.
Программное обеспечение демонстрирует такое же разделение в масштабе. Один разработчик сообщил, что пользователи одобряют 97% запросов на разрешение, а в исследовании с 1,053 тестировщиками люди выявили 13,6% опасных команд в сравнении с 89% для автоматического классификатора. По словам авторов: «Человек, которого попросили одобрить каждый шаг, становится резиновым штампом».
Контроль физических ИИ требует времени и доступа
Тело привносит время и необратимость. Ошибочное решение в репозитории можно отменить, а решение, принятое на скорости дороги, нельзя. В статье отмечается, что переключатель человека, который срабатывал в её полевых записях, «требует времени и доступа, которые физическая система может не предоставить». Это добавляет дополнительное требование из физических случаев: человек на границе нуждается в доступе к миру и времени для действия.
Дорожные записи демонстрируют ту же напряженность в других местах. При аварии в Tempe в 2018 году следователи обнаружили, что конструкция системы «исключала активацию экстренного торможения для смягчения последствий столкновения, полагаясь вместо этого на вмешательство оператора», и что у оператора была «продолжительная визуальная отвлеченность, типичный эффект самоуспокоения при автоматизации», которая помешала ей вовремя заметить пешехода.
EU AI Act Article 14 надзор человека
Статья 14 EU AI Act требует надзора человека над высокорисковыми системами ИИ, согласно графику, указанному в Приложении I работы: поправочный регламент 2026 года перенес обязательства для автономных высокорисковых систем на 2 декабря 2027 года и для встроенных в продукты на 2 августа 2028 года. Статья 26 требует от операторов назначить надзор людям, обладающим «необходимой компетентностью, подготовкой и полномочиями, а также необходимой поддержкой». Работа интерпретирует эти слова как испытание P6 в законодательной форме: полномочия на остановку и поддержка, обеспечивающая доступ и время. Она также предупреждает: «Требование надзора, которое выполняется путем добавления запросов разрешения, может само стать второй стаей.»
Эти две дорожные записи каждая документируют одно условие определения в работе. Как часто все три условия встречаются в одном компоненте, «не определено имеющимися записями».
Полные разделы: на дороге (6.2), почему тело меняет вопрос (6.1), Предложение P6, запросы разрешения (8.4), требования к надзору человека (11.4), нормативный реестр (Приложение I).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets также разрабатывает Poly A1, приложение, в котором ИИ из разных компаний проверяют работу друг друга.