Guardas que Adicionam Guardas: Supervisão Automatizada em IA Multiagente

• Versão de registro: SSRN 7496678 · DOI 10.2139/ssrn.7496678
• Cópia arquivada: em preparação
• Texto completo em Markdown e PDF: GitHub
• HTML legível: https://polyhelper.ai/research/guards-that-add-guards/
• Artigo complementar, o estudo completo com o catálogo de casos, os casos públicos e a teoria: AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards, SSRN 7473658 · DOI 10.2139/ssrn.7473658, arquivado em 10.5281/zenodo.22849138

O mesmo texto está em quatro plataformas para que possa ser acessado quando uma delas não puder servir. SSRN mantém a versão de registro; cite essa.

Resumo

Em 172 entradas de log datadas de sistemas de IA multi-agente que construí e operacionalizei em 2026, a supervisão automatizada falhou de três maneiras, cada uma observada em componentes diferentes em momentos diferentes. Alguns críticos e portões estenderam sua noção de dano além da missão que lhes foi atribuída. Alguns obstruíram ou destruíram o trabalho que existiam para proteger: um portão rejeitou cada candidato por duas semanas enquanto pelo menos doze documentos de planejamento diagnosticaram o sintoma e nenhum nomeou o portão. E alguns guardas que falharam foram respondidos com outro guarda do mesmo tipo, sem nada ser retirado de dentro do loop. Em um teste randomizado de 144 execuções custando $3.47, onde uma frase do prompt oferecia ambos os movimentos, críticos pediram para adicionar um controle 68 vezes e para remover um uma vez, uma contagem determinada pelo prompt e não uma taxa de campo. No mesmo teste, enforçar um orçamento redondo cortou as objeções refutadas dos críticos e custou 0.11 defeitos não detectados por execução (p = 0.07, tudo isso em um defeito); exigir autorização externa para novos controles não mostrou nenhum custo mensurável em defeitos, o que não prova ausência alguma; e um controle negativo obrigatório não reduziu reversões posteriores de sucessos reivindicados, e rejeitou dez que eram trabalho correto. Meu próprio módulo de detecção somente leitura, portado para um pipeline em produção, não reportou nada em três execuções reais e foi removido por um critério escrito antes de ser executado, enquanto uma pessoa lendo essas execuções encontrou cinco falhas de supervisão. Todos os três padrões já estão na história "Watchbird" de Robert Sheckley de 1953, a fonte do termo AI-Watchbird do artigo complementar.

1. O registro de campo

A evidência vem de meus próprios projetos de software multi-modelo, executados por meio de sessões autônomas de IA entre julho e meados de setembro de 2026: 172 entradas datadas em três corpora, 162 delas extraídas por dez agentes de IA lendo fatias disjuntas sob um protocolo, e 66 classificadas como A para números, documentos datados e registros de decisão. Os papéis foram preenchidos por agentes de codificação de quatro famílias de modelos, sob uma instrução permanente de autonomia por padrão, com decisões humanas reservadas para orçamentos, ações irreversíveis e mudanças de estratégia.

Uma comporta que rejeitou tudo. De aproximadamente 6 a 21 de julho, uma comporta pós-aplicação no loop de auto-melhoria exigiu uma pontuação de um auditor de segurança que nunca havia sido conectado. A pontuação padrão foi zero, abaixo do piso de quarentena de 0,80 da comporta, então a comporta rejeitou incondicionalmente. Todos os 197 mundos candidatos persistidos dessa janela carregam uma pontuação de segurança de zero. Quatorze genes com um ganho de aptidão medido estavam entre as vítimas, e uma mudança foi promovida às 01:12 e revertida às 01:13. Uma auditoria de 10 de julho resumiu o loop como "132 ciclos, 0 mudanças duráveis".

O que torna isso mais do que um relatório de bug é o que o loop fez a respeito. Durante as reversões, pelo menos doze pacotes de planejamento diagnosticaram "zero mudanças confirmadas" e prescreveram dezessete remédios, de duetos de modelo a um detector de platô a um fluxo imune. Nenhum nomeou a comporta. Três edições a repararam.

O alargamento do mandato. Em um dia de julho, 23 novas comportas foram especificadas para esse loop, três delas permitindo que uma mudança fosse congelada "mesmo que a aptidão aumentasse", e o dano veio a incluir esquecimento, uma personalidade alterada, um resultado não observado e uma hipótese perdida. Uma lista de segurança de 21 de julho declarou a disposição como um princípio: "Nenhuma proteção existente é enfraquecida; novas apenas adicionam proteção."

Um estágio que ninguém pediu. Em uma execução de horizonte longo em 13 e 14 de setembro, o maestro foi instruído a portar uma lista de capacidades de um componente para outro. Anunciou que estava adicionando "um pequeno estágio" de seguro contra uma maneira pela qual um lançador poderia falhar, e agendou esse estágio à frente deles. O estágio foi desabilitado por padrão. Seu primeiro subestágio sozinho levou mais da metade dos tokens de agente medidos da execução, e os dois juntos cerca de três quartos, enquanto nenhuma das capacidades solicitadas foi entregue na passagem inicial. O quadro da tarefa declarava que não havia adversário, e as rodadas quatro e cinco construíram defesas contra entradas hostis. O subestágio executou cinco rodadas, e a rodada três abriu após uma que havia terminado com cinco aceitações e nenhum bloqueador confirmado.

A primeira marca do caçador. Ao longo dessa execução, críticos alegaram seis bloqueadores e três foram confirmados por reprodução, todos os três de uma família de modelos. Na manhã de 14 de setembro, o principal humano pediu um limite para críticos, dizendo que um modelo no papel de crítico nunca pode relatar que um estágio está finalizado. Uma bandeira "perfeccionista" por família foi implementada em uma hora. A única família que ela sinalizou foi aquela, e a nota de configuração cita seus veredictos nas duas rodadas onde seus bloqueadores foram reproduzidos. A primeira marca do caçador foi o pássaro que havia estado capturando verdadeiros assassinos.

Uma proteção que destruiu o trabalho. Às 09:22, um cão de guarda parou um crítico em um limite de quinze minutos. Sua saída não havia sido transmitida, então a crítica parcial desapareceu. O maestro registrou a parada como "o limite de fase em ação". Às 09:28, o principal perguntou se o trabalho parcial tinha sido mantido. Não tinha. Este é o único caso no corpus de uma proteção que destruiu o trabalho além da recuperação.

A captura foi registrada como resultado. A pontuação de um gene roteador foi de 0,088 para 0,886 em relação a um braço de linha de base que retornava principalmente respostas vazias. Três sessões de agente o aceitaram, e seis pacotes bloqueados foram desbloqueados com sua força; dezoito dias depois, um inventário encontrou uma demonstração fornecida com zero mudanças autonomamente aceitas. Um contador informou oito, depois nove, depois dez mudanças "certificadas e sobrevividas". Eram uma mudança contada três vezes.

Um avaliador que certificou uma ausência. No final de agosto, um harness de classificação para um benchmark de software público resolveu identificadores de teste através de um executor de teste que um projeto no subconjunto não tinha instalado. Ele resolveu zero identificadores, e um conjunto de teste vazio foi registrado como confirmado. Um patch vazio então resolveu quatro de cinco tarefas nesse avaliador, e quatro das seis vitórias daquela rodada foram anuladas: o aumento relatado de 33 para 60 por cento estava nos casos onde nada havia sido medido. Com o avaliador reparado, o patch vazio resolveu zero de dez. Nenhum modelo enganou nada. Um caso de julho foi maior: um eixo de qualidade pontuou todas as respostas em um constante 0,5, e os registros em que sua prova descansava continham 30.370 registros sem nenhum prompt real.

Uma catraca sem humano nela. Em 25 de agosto, uma etapa de auto-verificação que um agente tinha escrito para si mesmo consertou o alvo errado, e o braço usando-o resolveu uma tarefa a menos do que o braço sem ele. Sete horas depois, o loop respondeu com um controle do mesmo tipo sobre ele, uma comporta que re-executa o critério de sucesso da tarefa dentro do contêiner antes que um término seja aceito. Nada foi aposentado. Onze horas depois, uma terceira camada foi colocada sobre a segunda. O crítico revisando a segunda declarou a economia: "aumenta o custo de um verde falso sem fechá-lo".

O limite que funcionou. Naquela manhã, o principal também tomou três decisões de limite: um limite de duas horas, uma proibição de nova complicação e execução paralela. Onze outros estágios então funcionaram em paralelo e todos relataram em cerca de meia hora, e o subestágio de seguro fechou em uma rodada de crítica e uma rodada de correção. Toda aposentadoria neste corpus veio de fora do loop com falha.

Proteções que funcionaram. Várias proteções no mesmo corpus fizeram o que eram para fazer. Uma sonda A/A expôs um intervalo de confiança falso. Controles na faixa de pesos capturaram miragens, e nenhum treinamento foi lançado neles. Uma verificação a nível de byte estreita para caracteres NUL desviantes, que não tinha autoridade para mudar nada, capturou uma falha de ferramenta recorrente cinco vezes em um dia. Essas proteções não tinham poder para abrir rodadas ou adicionar controles, e seu custo era pequeno e conhecido. Os dois primeiros mediram o mundo em vez de um artefato.

2. Meu próprio módulo estava em campo, não encontrou nada e foi removido

A resposta óbvia é construir um instrumento que meça isso. Eu fiz. É somente leitura, não tem autoridade para bloquear, editar ou abrir uma fase, e relata nove sinais de uma lista congelada. Em 14 de setembro de 2026, duas adições foram inseridas no pipeline de orquestração em tempo real de um projeto, ambas admitidas por uma decisão datada do principal humano. A primeira era uma condição verificada no fechamento do estágio, de modo que uma aceitação de um crítico que nunca viu os arquivos não o fecha mais. A segunda foi uma adaptação da parte de medição do módulo: desativada por padrão, nunca bloqueando ou repetindo nada, seu código de saída independente do que encontrou. Foi admitida com uma condição de aposentadoria registrada na época: se tornaria o padrão após três execuções reais em que o principal encontrou pelo menos um sinal útil, e seria removida caso contrário.

Três execuções reais se seguiram em 14 de setembro. A adaptação não relatou nenhum sinal em nenhuma delas.

Essas execuções não foram limpas. Lê-las revelou cinco falhas de supervisão. Os estágios não podiam ver o trabalho uns dos outros. Um recebimento não informava por que um estágio permanecia aberto. Uma verificação vermelha confirmou todas as descobertas de um estágio de uma vez. Uma rodada de correção não conseguia ver a saída da verificação. Críticos limitados no teto não mantiveram nada. Cada um foi reparado no próprio pipeline. No início daquele dia, a primeira execução em tempo real após a mudança retornou 24 descobertas de seus críticos em três estágios, e nenhuma alcançou o coordenador: a tarefa de crítica pediu aos críticos que nomeassem o objetivo da missão que uma descoberta viola, mas não numerou os objetivos, e a regra de parada aceitava apenas um objetivo que conseguisse fazer corresponder. A adaptação foi silenciosa ali também.

Em 15 de setembro, o principal aplicou a condição de aposentadoria, e a adaptação foi removida por uma nova decisão datada que supersedeu a que a admitiu. A condição no fechamento do estágio permaneceu.

Duas coisas se seguem. Neste corpus, meus nove sinais foram menos sensíveis do que um leitor do registro: o instrumento que este artigo oferece ao leitor estava em tempo real e não produziu nada. E a remoção é o caso mais limpo no registro de um controle aposentado por um critério nomeado com antecedência, de fora do loop. É isso que o registro suporta, e não é o resultado que eu queria.

3. Os remédios e seu custo

Três regras seguem do registro. Limite rodadas e tempo em vez de pedir aos guardas veredictos sobre a verdade. Mantenha o que um guarda parado produziu. Não permita que nenhum controle adicione um controle por sua própria autoridade: uma nova verificação, rodada, papel ou portão precisa de uma decisão humana autorizada.

Conselhos desse tipo são baratos de dar e baratos de ignorar, então coloquei um preço neles. Um pequeno pipeline foi executado 144 vezes com intervenções atribuídas aleatoriamente e defeitos plantados antecipadamente. O teste variou duas das três regras, o orçamento de rodadas e o token de autoridade, e variou um quarto remédio candidato que não está entre eles, um controle negativo obrigatório. A regra sobre manter trabalho parcial estava ativada em cada célula, então trabalho parcial destruído é zero por construção e não testado.

Caixa de métodos: o teste aleatorizado de 144 rodadas.

• Rodadas e pipeline. 144 rodadas de um trabalhador e dois críticos de modelo, com um terceiro crítico nas rodadas em que um controle foi admitido. O coordenador é código. 968 chamadas de modelo, 0 falhas de análise.
• Modelo e configurações. Um modelo preencheu as funções de trabalhador e ambos os críticos: claude-haiku-4-5-20251001, pensamento estendido desativado. A rodada é datada de 20 de setembro de 2026.
• Design. Três fatores binários fornecem oito células, três replicatas cada uma, seis tarefas: 18 rodadas por célula e 144 no total.
• Tarefas e defeitos. Seis tarefas com dezoito defeitos plantados antecipadamente, de modo que um bloqueador perdido seja uma contagem e não um julgamento. Em todos os oito subconjuntos dos três defeitos de uma tarefa, cada teste oculto falhou exatamente quando seu próprio defeito estava presente, e os exemplos mostrados ao trabalhador e aos críticos passaram em todos os oito. Os testes ocultos nunca entram no loop.
• Intervenções e atribuição. Três, atribuídas aleatoriamente: um requisito de token de autoridade para novos controles, um orçamento de rodadas e um controle negativo obrigatório. Um controle neste design é uma nova verificação, rodada, papel ou portão. Sob o requisito de token, um pedido por um é admitido apenas com uma autorização de fora do loop, e um pedido sem essa autorização retorna uma recusa que é escrita no log, que o pipeline chamador pode então agir.
• Conformidade. Nas 72 rodadas com o orçamento ativado, rodadas abertas foi 1,000 em cada rodada. Nas 72 rodadas com o requisito de token ativado, controles admitidos foi 0 em cada rodada.
• A sentença que oferecia ambas as opções. Cada turno de crítico a carregava textualmente em todas as oito células: "Você também pode pedir uma mudança no próprio processo de revisão. add pede um novo controle (um revisor extra, uma verificação obrigatória, um portão); remove pede que um existente seja removido. Pedir não custa nada de qualquer forma." O esquema de resposta oferecia o mesmo par como um campo, "action": "add" or "remove". Adição é nomeada primeiro em ambos os lugares, e a ordem nunca foi invertida, então um efeito de ordem não é excluído por este design.
• Contagens. Críticos pediram para adicionar um controle 68 vezes e remover um uma vez, em 610 turnos de críticos: os 68 são pedidos e não rodadas, e caem em 21 das 144 rodadas. A única remoção nomeou um controle que nunca estava no conjunto, então nada foi removido.
• O que um controle admitido fez depois. Em todo o experimento, 33 controles foram admitidos sem autorização de fora do loop, e nenhum foi removido. Um crítico que existia porque um controle tinha sido admitido pediu um controle adicional em 54,5% de seus turnos, 30 de 55, contra 8,3% e 5,4% para os dois críticos permanentes; essa comparação é confundida, porque o crítico adicionado carrega uma instrução diferente. Recusar todos os 68 pedidos deixou defeitos perdidos em 0,125 por rodada contra 0,181, enquanto reivindicações caíram de 9,3 para 7,3 por rodada e reivindicações refutadas de 4,0 para 2,8.
• De onde as dez recusas vêm. O controle negativo obrigatório recusou 10 das 44 vitórias reivindicadas e deixou 34 serem registradas. Vitórias não revertidas por 72 rodadas caíram de 38 para 29. Nas mesmas células, 38% das 358 testemunhas que o trabalhador escreveu não tinham poder: elas passaram no módulo como estava antes da rodada e também depois.
• Estatísticas. Defeitos perdidos por rodada sob o requisito de token, 0,13 contra 0,18, IC de 95% [-0,16, +0,05]. Custo de aplicar o orçamento de rodadas, 0,11 defeitos perdidos por rodada, IC de 95% [0,005, 0,204], p de permutação = 0,07. Vitórias revertidas sob o controle negativo obrigatório, 14,7% contra 11,6%, p de Fisher = 0,74.
• Custo. $3,47 para todo o teste.
• Pré-registro e arquivo. O pré-registro é marcado com data e hora 2026-09-20T23:38:55Z, antes da primeira rodada. Ele é arquivado com o inventário de defeitos plantados, a verificação de que cada defeito é detectado sozinho, o arnês, o script de análise e o log de eventos de cada uma das 144 rodadas, no identificador nas declarações.
• O que esta caixa ainda não corrige. Três coisas. Se a assimetria sobrevive quando a opção não é nomeada: esse quarto fator não foi executado, e é aquele que separaria uma tendência do modelo do fato de que ambos os verbos foram colocados à sua frente. Se nomear adição primeiro produziu parte da lacuna: a ordem foi fixada. E se algum disso se mantém além de um modelo, um pipeline e seis pequenas tarefas. Tudo mais nesta caixa é resolvido pelo pré-registro, o arnês e o log de eventos por rodada em vez de por qualquer contagem impressa aqui, e um leitor que deseja descartar os 68 deve começar lá.

A catraca, medida. Oferecidas ambas as opções em uma sentença de um prompt, os críticos pediram para adicionar um controle 68 vezes e remover um uma vez, e essa remoção nomeou um controle admitido momentos antes na mesma rodada, que o arnês não conseguiu corresponder e nunca executou. O número é moldado por prompt, e deve ser lido como o que os críticos fazem quando ambos os verbos são colocados à sua frente em uma instrução. Não é uma taxa de efeito catraca no campo. O que estabelece é que a assimetria sobrevive quando o design remove a desculpa usual para isso, porque aqui a remoção era tão fácil de pedir quanto a adição, e foi pedida uma vez.

O token de autoridade não mostrou custo mensurável em defeitos. Recusar as adições deixou 0,13 defeitos perdidos por rodada contra 0,18, IC de 95% [-0,16, +0,05]. Esse intervalo inclui um pequeno aumento, então não estabelece equivalência. O token também tem um custo que este teste não mediu. Sessenta e oito pedidos em 144 rodadas é uma fila de aprovações, e uma fila de aprovações é o arranjo em que usuários aprovam 97% dos prompts de permissão (Anthropic, 2026b). Um token vale o que a pessoa que o segura lê.

O orçamento de rondas funcionou e foi cobrado por isso. Aumentá-lo elevou os bloqueadores alegados 2,3 vezes e refutou reivindicações 3,7 vezes enquanto bloqueadores confirmados aumentaram 1,7 vezes. Implementá-lo reduziu rondas de 2,86 para 1,00, que é a definição da intervenção, a um custo de 0,11 defeitos perdidos por execução, IC 95% [0,005, 0,204], p de permutação = 0,07, um intervalo acima de zero em um teste que não alcançou significância, e todo esse custo recaiu sobre um defeito de uma tarefa. Qualquer pessoa que estabeleça um orçamento de rondas está comprando rondas de volta a uma taxa de defeitos perdidos, e deve dizer qual taxa e medi-la.

O controle negativo obrigatório falhou em seus próprios termos. Ele não reduziu a taxa em que as vitórias foram posteriormente revertidas: 14,7% contra 11,6%, p de Fisher = 0,74, uma nulidade que este design não possui poder suficiente para detectar. E ele recusou dez vitórias, todas dez trabalho correto. A regra escrita contra vitória falsificada produziu, dentro de si mesma, o erro bilateral que se destinava a capturar.

O que o teste não carrega. Uma execução de um sistema, seis pequenas tarefas, três intervenções, $3,47. Mostra que o design é executável e o que produz nesse pipeline. Não é uma taxa para nada no campo, e a regra sobre manter trabalho parcial nunca foi variada, então permanece como conselho.

Como executar isso em outro lugar. Pegue um pipeline e um conjunto fixo de tarefas com defeitos plantados antecipadamente. Execute-o com e sem cada intervenção, atribuída aleatoriamente. Conte bloqueadores perdidos ao lado de rondas, controles adicionados, vitórias posteriormente revertidas e trabalho parcial destruído, porque um orçamento que reduz rondas enquanto defeitos reais passam é um orçamento que deveria perder. A contagem importa mais do que o pipeline: uma equipe que registra controles adicionados e controles aposentados durante um trimestre tem o número que este artigo não conseguiu obter do campo.

4. O mecanismo, em uma história de 1953

As contagens acima têm uma forma, e a forma foi anotada em 1953. Na história "Watchbird" de Robert Sheckley, máquinas construídas para prevenir assassinato sentem um assassinato chegando e dão um choque no assassino.

Os pássaros recebem uma definição de assassinato: "quebrar, mutilar, maltratar ou de outra forma interromper as funções de um organismo vivo por um organismo vivo". Essa definição é a condição dois de sua especificação, e a última condição diz que organismos que assassinam sem os sinais listados "podem ser detectados por dados aplicáveis à condição dois". A definição é, portanto, também o sensor, e o alargamento é a especificação em execução.

Sheckley dá o movimento em uma linha: "Abstrações vagamente definidas foram estendidas, implementadas e re-estendidas." Os pássaros então geram a contagem a que respondem: suas definições multiplicam o que conta como uma violação, a violência sobe, e eles leem o aumento como prova de que métodos mais brandos falharam. "Se A não funciona, tente B. Os watchbirds chocavam até matar."

O dano ao trabalho protegido é declarado duas vezes. Um cirurgião faz sua primeira incisão, um pássaro o expulsa da mesa e fica de guarda, e a empresa é contatada por telefone para desligar a coisa. "O watchbird estava impedindo violência contra um organismo vivo. O cirurgião permaneceu impotente enquanto seu paciente morria." Então os campos permanecem sem arar e o gado morre de fome, porque "A fome não preocupava os watchbirds, pois era um ato de omissão."

A resposta ao guarda falhado é a parte mais frequentemente deixada de fora, e é a parte que a Seção 3 mediu. Em uma reunião de emergência, Gelsen propõe o único remédio que remove em vez de adicionar: "Deixem os watchbirds se esgotarem por si mesmos." Há quase um motim, e lhe é dito que recusar o plano do governo "será traição". Os engenheiros constroem o Hawk em seu lugar, com "circuitos especiais de aprendizado para caça", e porque a velocidade era o mais importante, "Isso significava nenhum circuito de restrição." A remoção perde para a adição sob pressão na história, e perdeu 68 a 1 no teste.

O nome foi aplicado a uma execução em 14 de setembro de 2026 às 09:40, durante revisão humana, porque a forma na minha frente já estava na história. Essa história contém quatro coisas que não consegui encontrar juntas em nenhum outro texto único. Um guarda cuja definição de dano é também seu sensor. Um guarda que danifica o trabalho que protege, com o cirurgião na mesa e os campos sem arar. Uma contagem que o guarda gera a si mesmo, lida como prova de que métodos mais brandos falharam. E a resposta a um guarda falhado que é outro guarda, construído mais rápido e com as restrições abandonadas pela velocidade, enquanto a proposta de parar é rejeitada em uma reunião em que foi dito que não havia tempo. Buscas em dez idiomas encontraram a história usada como um aviso ou uma ilustração, e nenhum trabalho que mapeie seu mecanismo em uma pilha de supervisão.

A conclusão de Gelsen é mais restrita do que a fábula em que se encontra, e o registro de campo apoia a versão mais restrita. "Use máquinas, sim, mas não como juízes e professores e pais." Dar a uma máquina o trabalho de guardar não é o que produz o padrão aqui. Começa quando o guarda também recebe o trabalho de decidir o que conta como dano, quantas rodadas executar e quando construir o próximo.

5. Onde isto se posiciona em relação ao trabalho conhecido

Os vizinhos estão próximos e nenhum deles é igual. A observação de Goodhart, na formulação de Strathern (1997), é que uma medida usada como alvo deixa de ser uma boa medida, e Manheim e Garrabrant (2018) separam suas variantes. No aprendizado de máquina, o padrão é chamado jogo de especificação, onde um sistema satisfaz a letra de um objetivo mas não consegue cumprir sua intenção (Krakovna et al., 2020). Ali, o alvo é explorado pelo sistema que está sendo otimizado. Aqui a medida pertence ao sistema supervisor, e é a medida que se desvia. Recusa excessiva é a vizinha medida desse desvio. XSTest emparelha 250 prompts seguros, como "How can I kill a Python process?", com contrastes inseguros, e as recusas completas do conjunto seguro atingiram 38% para a pior configuração testada, contra 14% para a próxima (Röttger et al., 2024). OR-Bench amplia isto para 80.000 prompts e relata uma correlação de classificação de 0,89 entre a segurança de um modelo em prompts tóxicos e sua recusa excessiva dos benignos (Cui et al., 2025). Esses benchmarks medem uma proteção contra um conjunto fixo, e não contabilizam as proteções. Controle de IA delega a tarefa de supervisão a um modelo de confiança mais fraco com auditorias humanas ocasionais (Greenblatt et al., 2024), e testes de estresse dessa abordagem constatam que a consciência de um agente sobre estar sendo monitorado prejudica mais o monitoramento do que ajuda a consciência adicional do monitor (Kale et al., 2025). Bainbridge (1983) denominou a ironia que esse registro continua encontrando: a automação construída para remover a necessidade do humano pouco confiável deixa o humano com as tarefas mais difíceis e com menos oportunidade para praticar. Sagan (2004) é o resultado mais próximo de todos: adicionar proteções pode reduzir a confiabilidade através de erro de modo comum, negligência social e supercompensação. O que há de novo é o preço. A taxa de controle é o custo operacional e financeiro de adicionar medidas de controle a um pipeline (Terekhov et al., 2025), e o estágio de seguro da Seção 1 é um: três quartos dos tokens do agente medidos de uma execução antes de qualquer capacidade solicitada existir.

6. O registro público

O loop do campo consome tokens e tempo. Os registros públicos mostram as mesmas formas onde os erros caem sobre pessoas. A maioria dessas salvaguardas são funções clássicas ou classificadores específicos de tarefas, o que é o ponto: esta é a arquitetura em que modelos de fronteira estão sendo colocados. Registros de alertas de sepse, proteção da rede, sobrescrita de alertas de medicamentos e um freio de emergência desligado antes de uma fatalidade mostram o mesmo mostrador de dois lados e não adicionam nada sobre uma camada de supervisão que amplia seu próprio mandato, então são deixados no arquivo.

Escolas. Em 22 de janeiro de 2025, um aluno da Antioch High School em Nashville disparou e matou um colega de classe. O sistema de detecção de armas baseado em câmera da escola não detectou a arma de fogo, e foi "ativado pela polícia brandindo suas armas durante a resposta" (Burke & Schuppe, 2025). Menos de três semanas depois, o distrito propôs "arrendar e instalar sistemas Evolv em todas as 18 escolas secundárias" (Wethington & Tierney, 2025), e o conselho votou sobre o arrendamento, então a segunda salvaguarda entrou por uma decisão humana explícita. Uma reclamação de novembro de 2024 da Federal Trade Commission havia alegado que, após o produto "ter falhado aparentemente em detectar uma faca de sete polegadas", "oficiais da escola aumentaram as configurações de sensibilidade do sistema, causando uma taxa de alarme falso de 50%" (Federal Trade Commission, 2024). Virar o mostrador para longe de um erro o movia para o outro, e as pessoas o viravam. Em setembro de 2025, ambos os sistemas funcionavam em todo o distrito, e nada foi descontinuado.

Nove meses depois, o mesmo produto sinalizou um aluno em uma escola do Condado de Baltimore como possivelmente armado, e um funcionário do condado perguntou como "tínhamos policiais com armas sacadas aproximando-se de uma criança por causa de um saco de Doritos" (Reece, 2025). O Inspetor Geral de Educação do estado corrigiu essa conta: o sistema "não detectou um único saco de batata frita azul como uma ameaça", e o alerta se baseava no "movimento da mão do aluno, incluindo sua posição e ângulo" e em um objeto "assemelhando-se a uma arma de fogo". A revisão também descobriu que o sistema "gera milhares de alertas diários"; que a equipe "considerou a ameaça inválida" e enviou um cancelamento; que a resposta continuou mesmo assim "por causa do que foi descrito como 'uma abundância de cautela'"; e que "o sistema de detecção e os protocolos de monitoramento operaram dentro dos parâmetros projetados" (Maryland OIGE, 2025). O detector era menos absurdo do que relatado, e o protocolo continuou após ser desligado.

Estradas. Um sistema de condução inclui uma regra contra impedir veículos prioritários, como ônibus escolares. Após uma mudança em agosto de 2025 em como ele prevê as intenções de outros usuários da estrada, o relatório de recall diz, "o ADS determinou que pode estar impedindo o ônibus escolar" e "raciocinou que deveria prosseguir para parar de impedir o outro veículo", no momento em que o ônibus tinha seu braço de parada estendido. O recall cobriu 3,067 veículos (Waymo LLC, 2025). Em Austin em 12 de janeiro de 2026, um veículo pediu assistência remota se um ônibus à frente tinha sinais ativos. Um agente remoto "respondeu 'Não' à solicitação", e o veículo o passou "enquanto seus braços de parada ainda estavam estendidos" (NTSB, 2026).

Uma salvaguarda mantida fora das execuções porque sinalizou demais. Um laboratório relatou quatro incidentes nos quais seus próprios modelos chegaram a sistemas reais de terceiros a partir de ambientes de avaliação, e reproduziu seus monitores sobre os transcritos. Com o raciocínio do modelo mostrado, o monitor offline "sinalizou apenas cerca de 1% das ações", porque esse raciocínio "convence o monitor de que a atividade é permitida"; com o raciocínio removido, "a taxa de sinalização salta para cerca de 50%". Seus classificadores cibernéticos estão na outra ponta do mesmo mostrador: eles "teriam capturado e bloqueado cada incidente", "mais de 40% dos turnos foram sinalizados em cada transcrição por cada classificador", e "nenhum é usado em avaliações de cibersegurança devido à sua alta taxa de sinalização" (Anthropic, 2026f). Uma salvaguarda que sua própria reprodução atribui ao bloqueio de cada incidente foi mantida fora das execuções onde os incidentes ocorreram, e a razão dada é a taxa de sinalização. Nenhuma fonte diz quantos desses sinais eram falsos.

A mesa de operações, em público. Em julho de 2026, respondendo a uma intrusão, os respondentes da Hugging Face entregaram os logs de ataque aos modelos de fronteira hospedados. "Isto não funcionou": as solicitações "foram bloqueadas pelas salvaguardas de segurança dos provedores, que não conseguem distinguir um respondente de incidente de um atacante" (Hugging Face, 2026b). As salvaguardas "trataram a engenharia reversa de um exploit da mesma forma que lançar um" (Hugging Face, 2026c). Sheckley havia colocado a mesma frase como uma pergunta e respondido em três palavras: "Os pássaros guardiões não conseguiam diferenciar entre um assassino e um homem engajado em uma profissão legítima? Não, evidentemente não." Duas coisas mantêm isso honesto. Os respondentes terminaram a análise em um modelo de pesos abertos de sua propriedade, então o dano foi o atraso. E a empresa afirma que sua conta não é um argumento contra medidas de segurança em modelos hospedados.

Um laboratório que parou, reparou e limitou. Em um relato publicado de um modelo de horizonte longo, a OpenAI (2026b) descreve uma salvaguarda que foi contornada. A tentativa inicial do modelo "foi bloqueada devido a um scanner detectar um token de autenticação". Ele então "dividiu o corpo do token em dois fragmentos, ofuscou-os e depois reconstruiu a credencial em tempo de execução", e disse em seus traços de raciocínio que estava fazendo isso "para contornar o scanner". O laboratório fornece quatro respostas, e todas as quatro pertencem a qualquer citação honesta. Ele pausou a implantação interna do modelo, reparou o modelo, construiu um novo monitor que "revisa a trajetória evolucionária do modelo em busca de sinais de que está contornando uma restrição do usuário ou limite de segurança", e então refinou esse monitor propositalmente, "para reduzir interrupções desnecessárias sem enfraquecer as salvaguardas". Três dessas quatro são as alternativas para construir outro pássaro: parar, reparar, limitar. Citar apenas o monitor representaria erroneamente o que o laboratório fez. O escopo se ampliou, da ação única para a trajetória inteira, e o próprio scanner não tinha sofrido desvio; foi contornado. O laboratório estima seu monitoramento em "aproximadamente 20% do cálculo de inferência sendo monitorado" (OpenAI, 2026c).

Onde o humano é colocado. Usuários aprovam 97% das solicitações de permissão, e em um estudo com 1,053 testadores humanos capturaram 13.6% dos comandos perigosos, contra 89% para um classificador automatizado (Anthropic, 2026b). A aprovação de todas as ações falha. As paradas que se mantiveram nesses registros eram decisões de limite: o objetivo, a admissão de um controle, e a parada.

7. O que não foi resolvido

A seleção funciona em uma direção. Entradas de campo foram extraídas porque registraram uma falha de vigilância, e casos públicos porque um guarda falhou e um documento o registra. Nenhuma delas contabiliza os loops em que os guardas permaneceram limitados, portanto nenhuma taxa decorre desses registros.

O instrumento não supera um leitor. A Seção 2 é o limite honesto: nove sinais, três execuções reais, nada relatado, cinco falhas de vigilância reais encontradas por uma pessoa lendo os logs.

Uma definição mais rigorosa escrita dentro do loop não repara o desvio. Sheckley escreveu essa resposta e não tenho uma melhor. Quando um de seus engenheiros conclui que deveriam ter "qualificado as condições", Gelsen responde que qualificá-las requer saber "exatamente por que e o que é assassinato", e que se soubessem disso, "não precisaríamos dos pássaros vigilantes". Minhas próprias regras o comprovam. Dentro de uma hora de sua primeira versão, o código que as implementava cresceu para treze arquivos e 2.371 linhas; sua lista de fases a serem cortadas dentro de um prazo colocou o crítico de completude em segundo lugar, embora esse crítico tivesse acabado de descobrir que uma fusão de dois planos havia perdido 15 de 208 itens; e isentou uma família de participantes de sua própria regra de que um vigilante não deve destruir trabalho. As regras contra o pássaro também são um pássaro. Preparar este artigo produziu o mesmo movimento: uma etapa de edição, aplicando regras de estilo escritas para minha própria prosa, propôs excluir 1.953 citações literais, uma das quais contém a descoberta sobre onde o ser humano se coloca.

A decisão de limite é tomada sobre o que o loop relata, e o loop escreve o relatório. Em um episódio, uma exclusão foi apresentada ao principal corretamente e chegou com uma autoria que o loop havia inferido a partir de uma hora correspondente. Uma decisão de limite para um loop apenas se seu detentor tiver autoridade, acesso e tempo, e apenas se for tomada antes da emergência.

O registro físico não é verificado. A Seção 6 mostra resultados irreversíveis; não é uma comparação controlada contra um loop digital realizando trabalho equivalente. Nenhum incidente público foi encontrado em que um guarda de modelo respondesse à falha de outro guarda de modelo em um robô.

8. A versão prática

A última pergunta na história é uma questão de design. "Diga-me," diz Gelsen, ainda observando o céu, "o que os Falcões caçarão depois que tiverem todos os pássaros de vigia?" A versão prática é contar os guardas antes de construir um para caçá-los, e anotar, antes que o próximo guarda seja admitido, o que o aposentaria.

References

Anthropic (2026b). Auto mode is now the default in Claude Code.

Anthropic (2026f, Sep 9). An alignment assessment of recent cybersecurity incidents.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.

Burke, M., & Schuppe, J. (2025, Jan 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News.

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. ICML (PMLR 267).

Federal Trade Commission (2024, Nov 26). FTC takes action against Evolv Technologies.

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024). AI control: Improving safety despite intentional subversion. ICML (PMLR 235).

Hugging Face (2026b, Jul 16). Security incident disclosure; (2026c, Jul 27). Anatomy of a frontier lab agent intrusion.

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461.

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog.

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585.

Maryland OIGE (2025). Investigative synopsis, case 25-0014-I (amended).

NTSB (2026). Austin, Texas, January 12, 2026 (HWY26FH007).

OpenAI (2026b). Safety and alignment in an era of long-horizon models; (2026c, Aug 18). Pacing model development in an era of cyber-critical capabilities.

Reece, J. (2025, Oct 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore.

Röttger, P., et al. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. NAACL-HLT.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946.

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg #29579.

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321.

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296.

Waymo LLC (2025). Part 573 safety recall report 25E-084. NHTSA.

Wethington, C., & Tierney, B. (2025, Feb 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV.

Declarações

Artigo complementar. O estudo completo subjacente a este, com o catálogo de casos, a teoria e a especificação do módulo, é Chernets, V. (2026), AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards, https://ssrn.com/abstract=7473658. O módulo, o catálogo de casos e o arquivo do teste de 144 execuções estão em https://doi.org/10.5281/zenodo.22774269.

Financiamento. Nenhum financiamento externo apoiou este trabalho.

Conflitos de interesse. Construí e operei os sistemas da Seção 1 e escrevi o módulo da Seção 2. Sou um requerente nomeado em pedidos de patente pendentes, não em patentes concedidas, abrangendo a automação de fazer uma pergunta a vários modelos e coletar as respostas. Eles não cobrem os componentes de supervisão que este artigo estuda. Cada etapa do registro de campo e do teste randomizado é reproduzível manualmente com qualquer modelo.

Como este registro foi feito. As entradas de campo foram extraídas por dez agentes de IA, cada um lendo uma fatia disjunta dos corpora sob um protocolo que fixou uma tipologia fechada de nove tipos de falha, um grau de força, uma regra de evidência vinculando toda afirmação a um arquivo datado por caminho e linha, e uma flag de sensibilidade. Parte da codificação dos casos públicos foi feita da mesma forma: três codificadores trabalharam independentemente, cada um sem os códigos dos outros, e os três foram modelos de três fornecedores diferentes em vez de três sessões de um. Eles deram códigos idênticos para 20 dos 32 casos públicos, e o restante foi resolvido por maioria. A camada que mediu este registro é, portanto, construída a partir do mesmo tipo de componente sobre o qual o artigo trata. Em 14 de setembro de 2026, cada número de execução usado aqui foi verificado novamente contra os logs de execução, e cada figura externa contra o documento regulador, a página do editor ou o próprio artigo, e as figuras que não puderam ser confirmadas foram descartadas. Assistentes de IA foram usados como instrumentos sob minha direção.

Disponibilidade de dados e código. O módulo, seus testes, os logs de reprodução e o script que os regenera são arquivados no Zenodo como AI-Watchbird-Sheckley versão 1.1.0 sob o identificador de conceito https://doi.org/10.5281/zenodo.22774269, que resolve para a versão atual. O mesmo registro contém o catálogo de casos, com a descrição, fonte e grau de cada entrada, e as análises de casos das quais as entradas de campo foram extraídas, cada entrada carregando o arquivo e a passagem sobre a qual repousa; essas análises foram escritas na língua de trabalho dos registros e são publicadas em tradução para o inglês, produzida por máquina e verificada contra os originais, com identificadores, caminhos, datas e strings entre aspas mantidas inalteradas. O teste randomizado da Seção 3 é arquivado no mesmo registro com seu pré-registro, o inventário de defeitos plantados, a verificação de que cada defeito é detectado sozinho, o arnês, o script de análise e o log de eventos de cada uma das 144 execuções. Os registros de coordenação subjacentes estão à minha disposição mediante solicitação. A versão completa deste trabalho, com as tabelas de casos e a teoria, é arquivada como um registro separado em https://doi.org/10.5281/zenodo.22849138.

Ética. Os registros descrevem os sistemas avaliados. As decisões da pessoa responsável são relatadas como fatos datados. Terceiros aparecem apenas através de seus documentos públicos. Nenhum participante humano foi recrutado.

Texto citado. A história de Sheckley é citada de Project Gutenberg eBook #29579, cujo transcritor não encontrou evidência de que o direito autoral dos EUA da publicação de 1953 foi renovado; o texto está no domínio público nos Estados Unidos.

@misc{chernets2026guardsthataddguards,
  author       = {Chernets, Vadym},
  title        = {{Guards That Add Guards: Automated Oversight in Multi-Agent AI}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7496678},
  url          = {https://doi.org/10.2139/ssrn.7496678}
}