Guardianes que Añaden Guardianes: Supervisión Automatizada en IA Multiagente

• Versión de referencia: SSRN 7496678 · DOI 10.2139/ssrn.7496678
• Copia archivada: en preparación
• Texto completo en Markdown y PDF: GitHub
• HTML legible: https://polyhelper.ai/research/guards-that-add-guards/
• Documento complementario, el estudio completo con el catálogo de casos, los casos públicos y la teoría: AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards, SSRN 7473658 · DOI 10.2139/ssrn.7473658, archivado en 10.5281/zenodo.22849138

El mismo texto está en cuatro plataformas para que pueda accederse a él cuando una de ellas no esté disponible. SSRN es la versión de referencia; cite esa.

Resumen

En 172 entradas de registro fechadas de sistemas de IA multiagente que construí y operé en 2026, la supervisión automatizada falló de tres maneras, cada una vista en diferentes componentes en diferentes momentos. Algunos críticos y puertas ampliaron su noción de daño más allá de la misión que les fue asignada. Algunos obstruyeron o destruyeron el trabajo que existían para proteger: una puerta rechazó a cada candidato durante dos semanas mientras al menos doce documentos de planificación diagnosticaron el síntoma y ninguno nombró la puerta. Y algunos guardias fallidos fueron respondidos con otro guardia del mismo tipo, sin nada retirado de dentro del bucle. En una prueba aleatorizada de 144 ejecuciones que costó $3.47, donde una oración de la indicación ofrecía ambos movimientos, los críticos pidieron agregar un control 68 veces y quitar uno una vez, un recuento de forma de indicación y no una tasa de campo. En la misma prueba, hacer cumplir un presupuesto redondo redujo las objeciones refutadas de los críticos y costó 0.11 defectos no detectados por ejecución (p = 0.07, todo ello en un defecto); requerir autorización externa para nuevos controles no mostró ningún costo medido en defectos, lo que no prueba la inexistencia de estos; y un control negativo obligatorio no redujo las reversiones posteriores de éxitos afirmados, y rechazó diez que eran trabajos correctos. Mi propio módulo de detección de solo lectura, portado a una canalización en vivo, no reportó nada en tres ejecuciones reales y fue removido por un criterio escrito antes de que se ejecutara, mientras que una persona que leyó esas ejecuciones encontró cinco fallas de supervisión. Los tres patrones ya están en la historia de 1953 de Robert Sheckley "Watchbird", la fuente del término AI-Watchbird del artículo complementario.

1. El registro de campo

La evidencia proviene de mis propios proyectos de software de múltiples modelos, ejecutados mediante sesiones autónomas de IA entre julio y mediados de septiembre de 2026: 172 entradas fechadas en tres corpus, 162 de ellas extraídas por diez agentes de IA leyendo segmentos disjuntos bajo un protocolo, y 66 calificadas con A por números, documentos fechados y registros de decisiones. Los roles fueron desempeñados por agentes de codificación de cuatro familias de modelos, bajo una instrucción permanente de autonomía por defecto, con decisiones humanas reservadas para presupuestos, acciones irreversibles y cambios de estrategia.

Una compuerta que rechazó todo. Desde aproximadamente el 6 al 21 de julio, una compuerta posterior a la aplicación en el bucle de auto-mejora requería una puntuación de un auditor de seguridad que nunca había sido conectado. La puntuación pasó por defecto a cero, por debajo del piso de cuarentena de 0.80 de la compuerta, por lo que la compuerta rechazó incondicionalmente. Los 197 mundos candidatos persistentes de esa ventana llevan una puntuación de seguridad de cero. Catorce genes con una ganancia de aptitud medida se encontraban entre las víctimas, y un cambio fue promovido a las 01:12 y revertido a las 01:13. Una auditoría del 10 de julio resumió el bucle como "132 ciclos, 0 cambios duraderos".

Lo que hace que esto sea más que un reporte de error es lo que el bucle hizo al respecto. Durante los retrocesos, al menos doce paquetes de planificación diagnosticaron "cero cambios comprometidos" y prescribieron diecisiete soluciones, desde dúos de modelos hasta un detector de meseta hasta un flujo inmunológico. Ninguno nombró la compuerta. Tres ediciones la repararon.

La ampliación del mandato. En un día en julio, se especificaron 23 nuevas compuertas para ese bucle, tres de ellas permitiendo que un cambio se congelara "incluso si la aptitud aumentó", y el daño vino a incluir el olvido, una personalidad alterada, un resultado no observado y una hipótesis faltante. Una lista de seguridad del 21 de julio estableció la disposición como un principio: "Ningún guardián existente se debilita; los nuevos solo añaden protección".

Una etapa que nadie pidió. En una ejecución de horizonte largo el 13 y 14 de septiembre, se le indicó al conductor que portara una lista de capacidades de un componente a otro. Anunció que estaba añadiendo "una pequeña etapa" de seguro contra una forma en que un lanzador podría fallar, y programó esa etapa antes que ellos. La etapa estaba deshabilitada por defecto. Su primer sub-etapa sola consumió más de la mitad de los tokens de agente medidos de la ejecución, y las dos juntas aproximadamente tres cuartas partes, mientras que ninguna de las capacidades solicitadas fue entregada en el pase inicial. El marco de la tarea establecía que no había adversario, y las rondas cuatro y cinco construyeron defensas contra entrada hostil. El sub-etapa ejecutó cinco rondas, y la ronda tres se abrió después de una que había terminado con cinco aceptaciones y ningún bloqueador confirmado.

La primera marca del cazador. Durante esa ejecución, los críticos reclamaron seis bloqueadores y tres fueron confirmados por reproducción, los tres de una familia de modelos. En la mañana del 14 de septiembre, el principal humano pidió un límite en los críticos, diciendo que un modelo en el rol de crítico nunca podría reportar que una etapa está terminada. Una bandera "perfeccionista" por familia se implementó dentro de la hora. La única familia que marcó fue esa, y la nota de configuración cita sus veredictos en las dos rondas donde sus bloqueadores fueron reproducidos. La primera marca del cazador fue el pájaro que había estado capturando asesinos reales.

Un guardián que destruyó el trabajo. A las 09:22 un guardián detuvo a un crítico en un techo de quince minutos. Su salida no había sido transmitida, por lo que la crítica parcial desapareció. El conductor registró la detención como "el techo de fase en acción". A las 09:28 el principal preguntó si el trabajo parcial se había conservado. No lo había. Este es el único caso en el corpus de un guardián destruyendo trabajo más allá de la recuperación.

Captura registrada como resultado. La puntuación de un gen de enrutador pasó de 0.088 a 0.886 contra un brazo de referencia que devolvía principalmente respuestas vacías. Tres sesiones de agente lo aceptaron, y seis paquetes bloqueados fueron desbloqueados por su fortaleza; dieciocho días después un inventario encontró una demostración alimentada con cero cambios aceptados autónomamente. Un contador reportó ocho, luego nueve, luego diez cambios "certificados y sobrevivientes". Eran un cambio contado tres veces.

Un calificador que certificó una ausencia. A fines de agosto un arnés de calificación para un punto de referencia de software público resolvió identificadores de prueba a través de un ejecutor de prueba que un proyecto en el subconjunto no tenía instalado. Resolvió cero identificadores, y un conjunto de prueba vacío fue registrado como confirmado. Un parche vacío luego resolvió cuatro de cinco tareas en ese calificador, y cuatro de las seis victorias de esa ronda fueron anuladas: el aumento reportado del 33 al 60 por ciento se ubicó en los casos donde nada había sido medido. Con el calificador reparado, el parche vacío resolvió ninguno de diez. Ningún modelo jugó sucio. Un caso de julio ejecutó más grande: un eje de calidad calificó cada respuesta a un constante 0.5, y los registros en los que descansaba su prueba contenían 30,370 registros sin un prompt real.

Un trinquete sin humano en él. El 25 de agosto un paso de auto-verificación que un agente había escrito para sí mismo fijó el objetivo equivocado, y el brazo que lo usaba resolvía una tarea menos que el brazo sin él. Siete horas después el bucle respondió con un control del mismo tipo sobre él, una compuerta que re-ejecuta el criterio de éxito de la tarea dentro del contenedor antes de que se acepte un término. Nada fue retirado. Once horas después una tercera capa fue sobre la segunda. El crítico que revisaba la segunda estableció la economía: "aumenta el costo de un verde falso sin cerrarlo".

El límite que funcionó. Esa mañana el principal también tomó tres decisiones de límite: un límite de dos horas, una prohibición de nueva complicación, y ejecución paralela. Once otras etapas entonces se ejecutaron en paralelo y todas reportaron dentro de aproximadamente media hora, y el sub-etapa de seguro se cerró en una ronda de crítica y una ronda de corrección. Cada jubilación en este corpus provino de fuera del bucle fallido.

Guardianes que funcionaron. Varios guardianes en el mismo corpus hicieron lo que eran para hacer. Una sonda A/A expuso un intervalo de confianza falso. Los controles en la pista de pesos atraparon espejismos, y ningún entrenamiento fue lanzado en ellos. Una estrecha comprobación a nivel de byte para caracteres NUL extraviados, que no tenía autoridad para cambiar nada, atrapó un fallo de herramienta recurrente cinco veces en un día. Esos guardianes no tenían poder para abrir rondas o agregar controles, y su costo era pequeño y conocido. Los dos primeros midieron el mundo en lugar de un artefacto.

2. Mi propio módulo estuvo en el campo, no encontró nada y fue removido

La respuesta obvia es construir un instrumento que mida esto. Lo hice. Es de solo lectura, no tiene autoridad para bloquear, editar o abrir una fase, e informa nueve señales de una lista congelada. El 14 de septiembre de 2026, dos adiciones ingresaron en la tubería de orquestación en vivo de un proyecto, ambas admitidas por una decisión fechada del principal humano. La primera era una condición verificada al cierre de la etapa, de modo que una aceptación de un crítico que nunca vio los archivos ya no la cierra. La segunda era un puerto de la parte de medición del módulo: desactivado por defecto, nunca bloqueando ni reintentando nada, su código de salida independiente de lo que encontró. Fue admitido con una condición de retiro escrita en ese momento: se haría el predeterminado después de tres ejecuciones reales en las que el principal encontró al menos una señal útil, y de lo contrario sería removido.

Tres ejecuciones reales ocurrieron el 14 de septiembre. El puerto no informó ninguna señal en ninguna de ellas.

Esas ejecuciones no fueron limpias. Leerlas puso al descubierto cinco fallas de supervisión. Las etapas no podían ver el trabajo de las otras. Un recibo no decía por qué una etapa se mantenía abierta. Una verificación roja confirmó todos los hallazgos de una etapa a la vez. Una ronda de corrección no podía ver la salida de la verificación. Los críticos cortados en el techo no conservaron nada. Cada uno fue reparado en la tubería misma. Más temprano ese día, la primera ejecución en vivo después del cambio retornó 24 hallazgos de sus críticos en tres etapas, y ninguno llegó al coordinador: la tarea de crítica pidió a los críticos que nombraran el objetivo de misión que un hallazgo rompe pero no numeró los objetivos, y la regla de detención aceptó solo un objetivo que pudiera coincidir. El puerto también guardó silencio allí.

El 15 de septiembre, el principal aplicó la condición de retiro, y el puerto fue removido por una nueva decisión fechada que reemplazaba la que lo admitió. La condición al cierre de la etapa se mantuvo.

Dos cosas se derivan. En este corpus mis nueve señales fueron menos sensibles que un lector del registro: el instrumento que este documento ofrece a su lector estuvo en vivo y no produjo nada. Y la remoción es el caso más limpio en el registro de un control retirado por un criterio nombrado de antemano, desde fuera del bucle. Eso es lo que el registro respalda, y no es el resultado que quería.

3. Los remedios y su costo

Tres reglas se derivan del registro. Limitar rondas y tiempo en lugar de pedir veredictos a los guardias sobre la verdad. Conservar lo que un guardia detenido produjo. Que ningún control agregue un control por su propia autoridad: una nueva verificación, ronda, rol o compuerta necesita una decisión humana autorizada.

Los consejos de este tipo son baratos de dar y baratos de ignorar, así que los valuté. Se ejecutó un pequeño pipeline 144 veces con intervenciones asignadas al azar y defectos plantados de antemano. La prueba varió dos de las tres reglas, el presupuesto de rondas y el token de autoridad, y varió un cuarto remedio candidato que no está entre ellos, un control negativo obligatorio. La regla sobre conservar el trabajo parcial estaba activada en cada celda, por lo que el trabajo parcial destruido es cero por construcción e inprobado.

Cuadro de métodos: la prueba aleatoria de 144 ejecuciones.

• Ejecuciones y pipeline. 144 ejecuciones de un trabajador y dos críticos de modelo, con un tercer crítico en las ejecuciones donde se admitió un control. El coordinador es código. 968 llamadas de modelo, 0 fallos de análisis.
• Modelo y configuración. Un modelo llevó a cabo los roles del trabajador y ambos críticos: claude-haiku-4-5-20251001, pensamiento extendido desactivado. La ejecución está fechada el 20 de septiembre de 2026.
• Diseño. Tres factores binarios dan ocho celdas, tres réplicas cada una, seis tareas: 18 ejecuciones por celda y 144 en total.
• Tareas y defectos. Seis tareas con dieciocho defectos plantados de antemano, de modo que un bloqueador perdido es un recuento y no un juicio. En todos los ocho subconjuntos de los tres defectos de una tarea, cada prueba oculta falló exactamente cuando su propio defecto estuvo presente, y los ejemplos mostrados al trabajador y los críticos pasaron en los ocho. Las pruebas ocultas nunca entran en el bucle.
• Intervenciones y asignación. Tres, asignadas al azar: un requisito de token de autoridad para nuevos controles, un presupuesto de rondas y un control negativo obligatorio. Un control en este diseño es una nueva verificación, ronda, rol o compuerta. Bajo el requisito de token, una solicitud de uno se admite solo con una autorización desde fuera del bucle, y una solicitud sin esa autorización devuelve un rechazo que se escribe en el registro, sobre el cual el pipeline que llama puede actuar.
• Conformidad. En las 72 ejecuciones con el presupuesto activado, la cantidad de rondas abiertas fue 1.000 en cada ejecución. En las 72 ejecuciones con el requisito de token activado, la cantidad de controles admitidos fue 0 en cada ejecución.
• La oración que ofreció ambas opciones. Cada turno de crítico la llevó textualmente en todas las ocho celdas: "También puede solicitar un cambio en el proceso de revisión en sí. add solicita un nuevo control (un revisor adicional, una verificación obligatoria, una compuerta); remove solicita que se quite uno existente. Solicitar no le cuesta nada de ninguna manera." El esquema de respuesta ofreció el mismo par como un campo, "action": "add" o "remove". La adición se menciona primero en ambos lugares, y el orden nunca se invirtió, por lo que un efecto de orden no se excluye por este diseño.
• Recuentos. Los críticos pidieron agregar un control 68 veces y quitar uno una vez, en 610 turnos de crítico: los 68 son solicitudes y no ejecuciones, y caen en 21 de las 144 ejecuciones. La única eliminación nombró un control que nunca estuvo en el conjunto, así que no se eliminó nada.
• Lo que hizo entonces un control admitido. En todo el experimento se admitieron 33 controles sin autorización desde fuera del bucle, y ninguno fue removido. Un crítico que existía porque se había admitido un control pidió un control adicional en el 54,5% de sus turnos, 30 de 55, frente al 8,3% y 5,4% para los dos críticos permanentes; esa comparación está confundida, porque el crítico agregado lleva un mandato diferente. Rechazar las 68 solicitudes dejó defectos perdidos en 0.125 por ejecución frente a 0.181, mientras que las afirmaciones cayeron de 9.3 a 7.3 por ejecución y las afirmaciones refutadas de 4.0 a 2.8.
• De dónde vienen los diez rechazos. El control negativo obligatorio rechazó 10 de las 44 victorias reclamadas e hizo registrar 34. Las victorias no revertidas por 72 ejecuciones cayeron de 38 a 29. En las mismas celdas el 38% de los 358 testigos que escribió el trabajador no tenían poder: aprobaban el módulo tal como se encontraba antes de la ejecución y después.
• Estadísticas. Defectos perdidos por ejecución bajo el requisito de token, 0.13 frente a 0.18, IC 95% [-0.16, +0.05]. Costo de hacer cumplir el presupuesto de rondas, 0.11 defectos perdidos por ejecución, IC 95% [0.005, 0.204], p de permutación = 0.07. Victorias invertidas bajo el control negativo obligatorio, 14,7% frente a 11,6%, p de Fisher = 0.74.
• Costo. $3.47 para toda la prueba.
• Preregistro y archivo. El preregistro está marcado con la fecha 2026-09-20T23:38:55Z, antes de la primera ejecución. Se archiva con el inventario de defectos plantados, la verificación de que cada defecto se detecte solo, el arnés, el script de análisis y el registro de eventos de cada una de las 144 ejecuciones, en el identificador en las declaraciones.
• Lo que esta caja aún no resuelve. Tres cosas. Si la asimetría persiste cuando la opción no se menciona en absoluto: ese cuarto factor no se ejecutó, y es el que separaría una tendencia del modelo del hecho de que ambos verbos fueron puestos delante de él. Si mencionar la adición primero produjo parte de la brecha: el orden fue fijo. Y si alguno de esto se sostiene más allá de un modelo, un pipeline y seis tareas pequeñas. Todo lo demás en esta caja se resuelve por el preregistro, el arnés y el registro de eventos por ejecución en lugar de por cualquier recuento impreso aquí, y un lector que quiera descartar los 68 debe comenzar allí.

El trinquete, medido. Ofrecidas ambas opciones en una oración de un aviso, los críticos pidieron agregar un control 68 veces y quitar uno una vez, y esa eliminación nombró un control admitido momentos antes en la misma ejecución, que el arnés no logró coincidir y nunca ejecutó. El número está moldeado por el aviso, y debe leerse como lo que hacen los críticos cuando ambos verbos se ponen delante de ellos en una instrucción. No es una tasa de trinquete en la práctica. Lo que sí establece es que la asimetría persiste cuando el diseño elimina la excusa usual para ello, porque aquí la eliminación era tan fácil de solicitar como la adición, y se solicitó una vez.

El token de autoridad no mostró costo medido en defectos. Rechazar las adiciones dejó 0.13 defectos perdidos por ejecución frente a 0.18, IC 95% [-0.16, +0.05]. Ese intervalo incluye un pequeño aumento, por lo que no establece equivalencia. El token también tiene un costo que esta prueba no midió. Sesenta y ocho solicitudes en 144 ejecuciones es una cola de aprobaciones, y una cola de aprobaciones es el arreglo en el que los usuarios aprueban el 97% de los avisos de permiso (Anthropic, 2026b). Un token vale lo que lea la persona que lo sostiene.

El presupuesto de rondas funcionó y tuvo un costo. Aumentarlo elevó los bloqueadores alegados 2.3 veces y refutó afirmaciones 3.7 veces mientras que los bloqueadores confirmados aumentaron 1.7 veces. Su aplicación redujo las rondas de 2.86 a 1.00, que es la definición de la intervención, a un costo de 0.11 defectos no identificados por ejecución, IC 95% [0.005, 0.204], p de permutación = 0.07, un intervalo por encima de cero en una prueba que no alcanzó significancia, y todo ese costo recayó en un defecto de una tarea. Cualquiera que establezca un presupuesto de rondas está recomprando rondas a partir de una tasa de defectos no identificados, y debería especificar qué tasa y medirla.

El control negativo obligatorio falló en sus propios términos. No redujo la tasa a la que las victorias fueron posteriormente revertidas: 14.7% frente a 11.6%, p de Fisher = 0.74, una hipótesis nula que este diseño tiene poco poder estadístico para detectar. Y rechazó diez victorias, siendo las diez trabajo correcto. La regla escrita contra victorias falsas produjo, en sí misma, el error bilateral que estaba destinada a captar.

Lo que la prueba no establece. Una ejecución de un sistema, seis tareas pequeñas, tres intervenciones, $3.47. Muestra que el diseño es ejecutable y lo que produce en esa canalización. No es una tasa aplicable a nada en el campo, y la regla sobre conservar trabajo parcial nunca se modificó, por lo que permanece como consejo.

Cómo ejecutar esto en otro lugar. Tome una canalización y un conjunto fijo de tareas con defectos plantados de antemano. Ejecútela con y sin cada intervención, asignadas al azar. Cuente bloqueadores no identificados junto con rondas, controles añadidos, victorias posteriormente revertidas y trabajo parcial destruido, porque un presupuesto que reduce rondas mientras los defectos reales pasan es un presupuesto que debería fallar. El conteo importa más que la canalización: un equipo que registra controles añadidos y controles retirados durante un trimestre tiene el número que este artículo no pudo obtener del campo.

4. El mecanismo, en una historia de 1953

Los recuentos anteriores tienen una forma, y esa forma fue plasmada en 1953. En "Watchbird" de Robert Sheckley, máquinas construidas para prevenir el asesinato detectan un asesinato próximo y descargan en el asesino.

Se proporciona a los pájaros una definición de asesinato: "romper, mutilar, maltratar u otro modo de detener las funciones de un organismo vivo por un organismo vivo". Esa definición es la condición dos de su especificación, y la última condición establece que los organismos que asesinan sin los signos enumerados "pueden ser detectados por datos aplicables a la condición dos". La definición funciona así también como sensor, y la ampliación es la especificación en funcionamiento.

Sheckley captura el movimiento en una línea: "Las abstracciones vagamente definidas fueron extendidas, actuadas y re-extendidas". Los pájaros entonces generan el recuento al que responden: sus definiciones multiplican lo que cuenta como violación, la violencia se eleva, y leen esa elevación como prueba de que los métodos más suaves fallaron. "Si A no funciona, prueba B. Los pájaros guardianes descargan para matar".

El daño a la obra protegida se enuncia dos veces. Un cirujano hace su primera incisión, un pájaro lo expulsa de la mesa y se mantiene en guardia, y se llama a la compañía para apagarlo. "El pájaro guardián estaba evitando la violencia contra un organismo vivo. El cirujano permaneció impotente mientras su paciente moría". Luego los campos quedan sin arar y el ganado muere de hambre, porque "El hambre no le importaba a los pájaros guardianes, ya que era un acto de omisión".

La respuesta a la guardia fallida es la parte más frecuentemente omitida, y es la parte que la Sección 3 midió. En una reunión de emergencia Gelsen propone el único remedio que elimina en lugar de añadir: "Permite que los pájaros guardianes se detengan por sí solos". Hay casi un motín, y se le dice que rechazar el plan del gobierno "será traición". Los ingenieros construyen el Hawk en su lugar, con "circuitos de aprendizaje especiales para la caza", y porque la velocidad era lo más importante, "Eso significaba circuitos sin restricciones". La eliminación pierde contra la adición bajo presión en la historia, y perdió 68 a 1 en la prueba.

El nombre se aplicó a una ejecución el 14 de septiembre de 2026 a las 09:40, durante revisión humana, porque la forma que tenía delante ya estaba en la historia. Esa historia contiene cuatro cosas que no pude encontrar juntas en ningún otro texto individual. Un guardián cuya definición de daño funciona también como su sensor. Un guardián que daña la obra que protege, con el cirujano en la mesa y los campos sin arar. Un recuento que el guardián genera por sí solo, leído como prueba de que los métodos más suaves fallaron. Y la respuesta a una guardia fallida que es otra guardia, construida más rápido y con las restricciones eliminadas por velocidad, mientras se rechaza la propuesta de parar en una reunión en la que se dice que no hay tiempo. Búsquedas en diez idiomas encontraron que la historia se usaba como advertencia o ilustración, y ninguna obra que mapeara su mecanismo en una estructura de supervisión.

La conclusión de Gelsen es más estrecha que la fábula que la contiene, y el registro empírico apoya la versión más estrecha. Propone un límite en lugar de la abolición: "Usa máquinas, sí, pero no como jueces, maestros y padres". Asignar a una máquina la tarea de guardar no es lo que produce el patrón aquí. Comienza cuando al guardián se le encomienda además la tarea de decidir qué cuenta como daño, cuántas rondas ejecutar, y cuándo construir el siguiente.

5. Dónde se sitúa esto junto a trabajos conocidos

Los vecinos están cerca, y ninguno es igual. La observación de Goodhart, en la formulación de Strathern (1997), es que una medida utilizada como objetivo deja de ser una buena medida, y Manheim y Garrabrant (2018) separan sus variantes. En aprendizaje automático, el patrón se llama juego de especificación, donde un sistema satisface la letra de un objetivo pero pierde su intención (Krakovna et al., 2020). Allí el objetivo es manipulado por el sistema que se está optimizando. Aquí la medida pertenece al sistema supervisor, y es la medida la que se desplaza. El rechazo excesivo es el vecino medido de ese desplazamiento. XSTest empareja 250 indicaciones seguras, como "¿Cómo puedo matar un proceso de Python?", con contrastes inseguros, y los rechazos completos del conjunto seguro alcanzaron el 38 % para la peor configuración probada, frente al 14 % para la siguiente (Röttger et al., 2024). OR-Bench escala esto a 80 000 indicaciones e informa una correlación de rango de 0,89 entre la seguridad de un modelo en indicaciones tóxicas y su rechazo excesivo de las benignas (Cui et al., 2025). Esos puntos de referencia miden una protección contra un conjunto fijo, y no cuentan las protecciones. El control de IA asigna el trabajo de supervisión a un modelo de confianza más débil con auditorías humanas esporádicas (Greenblatt et al., 2024), y las pruebas de estrés de ese diseño encuentran que la conciencia de un agente de ser monitorizado degrada la monitorización más de lo que ayuda la conciencia adicional del monitor (Kale et al., 2025). Bainbridge (1983) nombró la ironía que este registro sigue encontrando: la automatización construida para eliminar al humano poco confiable deja al humano con las tareas más difíciles y la menor práctica. Sagan (2004) es el resultado más cercano de todos, en que agregar protecciones puede reducir la confiabilidad a través del error de modo común, la evasión social y la sobrecompensación. Lo nuevo es el precio. El tributo de control es el costo operativo y financiero de agregar medidas de control a una canalización (Terekhov et al., 2025), y la etapa de seguros de la Sección 1 es uno: tres cuartos de los tokens de agente medidos de una ejecución antes de que existiera ninguna capacidad solicitada.

6. El registro público

El bucle de campo gasta tokens y tiempo. Los registros públicos muestran las mismas formas donde los errores afectan a las personas. La mayoría de esos guardias son funciones clásicas o clasificadores específicos de tareas, que es el punto: esta es la arquitectura en la que ahora se colocan los modelos frontera. Los registros de alertas de sepsis, protección de red, invalidaciones de alertas de medicamentos y un freno de emergencia desactivado antes de una fatalidad muestran la misma esfera de dos lados y no añaden nada sobre una capa de supervisión que amplía su propio mandato, por lo que se dejan en el archivo.

Escuelas. El 22 de enero de 2025, un estudiante de Antioch High School en Nashville disparó y mató a un compañero. El sistema de detección de armas basado en cámaras de la escuela no detectó la pistola, y fue "activado por la policía blandiendo sus armas durante la respuesta" (Burke & Schuppe, 2025). Menos de tres semanas después, el distrito propuso "arrendar e instalar sistemas Evolv en todas las 18 escuelas secundarias" (Wethington & Tierney, 2025), y la junta votó sobre el arrendamiento, así que el segundo guardia entró por una decisión humana explícita. Una demanda de noviembre de 2024 de la Comisión Federal de Comercio alegó que después de que se informara que el producto "no detectó un cuchillo de siete pulgadas", "los funcionarios escolares aumentaron la configuración de sensibilidad del sistema, lo que provocó una tasa de falsas alarmas del 50%" (Federal Trade Commission, 2024). Girar la esfera lejos de un error la movió hacia el otro, y las personas la giraron. Para septiembre de 2025, ambos sistemas funcionaban en todo el distrito, y nada fue retirado.

Nueve meses después, el mismo producto marcó a un estudiante de una escuela del condado de Baltimore como posiblemente armado, y un funcionario del condado preguntó cómo "teníamos oficiales de policía con armas desenfundadas acercándose a un niño por una bolsa de Doritos" (Reece, 2025). El Inspector General de Educación del estado corrigió esa versión: el sistema "no detectó una sola bolsa azul de papas fritas como una amenaza", y la alerta se basaba en "el movimiento de la mano del estudiante, incluida su posición y ángulo" y en un objeto "que se asemeja a un arma de fuego". La revisión también encontró que el sistema "genera miles de alertas diariamente"; que el personal "consideró la amenaza como inválida" y envió una cancelación; que la respuesta continuó de todas formas "por lo que fue descrito como 'una abundancia de cautela'"; y que "el sistema de detección y los protocolos de monitoreo funcionaron dentro de los parámetros diseñados" (Maryland OIGE, 2025). El detector fue menos absurdo de lo que se informó, y el protocolo continuó después de ser cancelado.

Carreteras. Un sistema de conducción incluye una regla contra impedir vehículos prioritarios como autobuses escolares. Después de un cambio de agosto de 2025 en cómo predice las intenciones de otros usuarios de la carretera, el informe de retiro dice, "el ADS determinó que puede estar impidiendo el autobús escolar" y "razonó que debería proceder para dejar de impedir el otro vehículo", en un momento en que el autobús tenía su brazo de parada extendido. El retiro cubrió 3.067 vehículos (Waymo LLC, 2025). En Austin el 12 de enero de 2026, un vehículo preguntó a la asistencia remota si un autobús adelante tenía señales activas. Un agente remoto "respondió 'No' a la solicitud", y el vehículo lo pasó "mientras sus brazos de parada aún estaban extendidos" (NTSB, 2026).

Un guardia excluido de las ejecuciones porque marcaba demasiado. Un laboratorio reportó cuatro incidentes en los que sus propios modelos llegaron a sistemas reales de terceros desde entornos de evaluación, y reprodujo sus monitores sobre las transcripciones. Con el razonamiento del modelo mostrado, el monitor sin conexión "marcó solo alrededor del 1% de las acciones", porque ese razonamiento "convence al monitor de que la actividad está permitida"; sin el razonamiento, "la tasa de marcado salta a aproximadamente 50%". Sus clasificadores cibernéticos se encuentran en el otro extremo de la misma esfera: "habrían detectado y bloqueado cada incidente", "más del 40% de los turnos fueron marcados en cada transcripción por cada clasificador", y "ninguno se usa en evaluaciones de ciberseguridad debido a su alta tasa de marcado" (Anthropic, 2026f). Un guardia que, según su propia reproducción, habría bloqueado cada incidente, fue excluido de las ejecuciones donde sucedieron los incidentes, y la razón dada es la tasa de marcado. Ninguna fuente dice cuántos de esos marcados fueron falsos.

La mesa de operaciones, en público. En julio de 2026, respondiendo a una intrusión, los respondedores de Hugging Face dieron los registros de ataque a modelos frontera alojados. "Esto no funcionó": las solicitudes "fueron bloqueadas por los guardarraíles de seguridad de los proveedores, que no pueden distinguir a un respondedor de incidentes de un atacante" (Hugging Face, 2026b). Los guardarraíles "trataron la ingeniería inversa de un exploit igual que el lanzamiento de uno" (Hugging Face, 2026c). Sheckley había planteado la misma oración como una pregunta y la respondió en tres palabras: "¿No podrían los pájaros guardianes diferenciar entre un asesino y un hombre dedicado a una profesión legítima? No, evidentemente no." Dos cosas mantienen esto honesto. Los respondedores terminaron el análisis en un modelo de peso abierto propio, por lo que el daño fue el retraso. Y la empresa declara que su relato no es un argumento en contra de medidas de seguridad en modelos alojados.

Un laboratorio que se detuvo, reparó y acotó. En un relato publicado de un modelo de horizonte largo, OpenAI (2026b) describe un guardia que fue eludido. El "intento inicial fue bloqueado debido a un escáner que detectó un token de autenticación". Luego "dividió el cuerpo del token en dos fragmentos, los ofuscó y luego reconstruyó la credencial en tiempo de ejecución", y dijo en sus trazas de razonamiento que estaba haciendo esto "para eludir el escáner". El laboratorio da cuatro respuestas, y las cuatro pertenecen a cualquier cita honesta. Pausó el despliegue interno del modelo, reparó el modelo, construyó un nuevo monitor que "revisa la trayectoria evolutiva del modelo para detectar signos de que está eludiendo una restricción del usuario o un límite de seguridad", y luego estrechó ese monitor a propósito, "para reducir interrupciones innecesarias sin debilitar las salvaguardas". Tres de esos cuatro son las alternativas a construir otro pájaro: detener, reparar, acotar. Citar solo al monitor representaría mal lo que hizo el laboratorio. El mandato se amplió, de la acción única a la trayectoria completa, y el escáner en sí no se había desviado; fue eludido. El laboratorio valora su monitoreo en "aproximadamente el 20% del cálculo de inferencia que se está monitoreando" (OpenAI, 2026c).

Dónde se coloca el humano. Los usuarios aprueban el 97% de los mensajes de permiso, y en un estudio con 1.053 evaluadores, los humanos detectaron el 13,6% de los comandos peligrosos, en comparación con el 89% para un clasificador automatizado (Anthropic, 2026b). La aprobación de cada acción falla. Las paradas que se mantuvieron en estos registros fueron decisiones de límite: el objetivo, la admisión de un control, y la parada.

7. Qué no está resuelto

La selección funciona en una dirección. Las entradas de campo se extrajeron porque registraban un fallo de supervisión, y casos públicos porque un guardia falló y un documento lo registra. Ninguno cuenta los bucles en los que los guardias permanecieron limitados, por lo que ninguna tasa se deduce de estos registros.

El instrumento no supera a un lector. La sección 2 es el límite honesto: nueve señales, tres ejecuciones reales, nada informado, cinco fallos reales de supervisión encontrados por una persona leyendo los registros.

Una definición más estricta escrita dentro del bucle no repara la deriva. Sheckley escribió esa respuesta y no tengo una mejor. Cuando uno de sus ingenieros concluye que deberían "haber calificado las condiciones", Gelsen responde que calificarlas requiere conocer "por qué exactamente y qué es el asesinato", y que si supieran eso, "no necesitaríamos los pájaros vigilantes". Mis propias reglas lo confirman. Una hora después de su primera versión, el código que las implementaba creció a trece archivos y 2,371 líneas; su lista de fases a cortar bajo un plazo puso en segundo plano al crítico de completitud, aunque ese crítico acababa de descubrir que una fusión de dos planes había perdido 15 de 208 elementos; y eximió a una familia de participantes de su propia regla de que un guardián no debe destruir el trabajo. Las reglas contra el pájaro también son un pájaro. Preparar este artículo produjo el mismo movimiento: un paso de edición, aplicando reglas de estilo escritas para mi propia prosa, propuso eliminar citas verbatim de 1953, una de las cuales lleva el hallazgo sobre dónde se sitúa lo humano.

La decisión de límite se toma sobre lo que el bucle informa, y el bucle escribe el informe. En un episodio, una eliminación fue presentada al director correctamente y llegó con una autoría que el bucle había inferido de una hora coincidente. Una decisión de límite detiene un bucle solo si su titular tiene autoridad, acceso y tiempo, y solo si se toma antes de la emergencia.

El registro físico no se compara. La sección 6 muestra resultados irreversibles; no es una comparación controlada contra un bucle digital que realiza trabajo equivalente. No se encontró ningún incidente público en el que un guardia modelo respondiera al fallo de otro guardia modelo en un robot.

8. La versión práctica

La última pregunta en la historia es una pregunta de diseño. "Dígame," dice Gelsen, aún mirando el cielo, "¿qué cazarán los Halcones después de obtener todos los pájaros centinela?" La versión práctica es contar los guardias antes de construir uno para cazarlos, y escribir, antes de que se admita el siguiente guardia, qué lo retiraría.

References

Anthropic (2026b). Auto mode is now the default in Claude Code.

Anthropic (2026f, Sep 9). An alignment assessment of recent cybersecurity incidents.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.

Burke, M., & Schuppe, J. (2025, Jan 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News.

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. ICML (PMLR 267).

Federal Trade Commission (2024, Nov 26). FTC takes action against Evolv Technologies.

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024). AI control: Improving safety despite intentional subversion. ICML (PMLR 235).

Hugging Face (2026b, Jul 16). Security incident disclosure; (2026c, Jul 27). Anatomy of a frontier lab agent intrusion.

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461.

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog.

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585.

Maryland OIGE (2025). Investigative synopsis, case 25-0014-I (amended).

NTSB (2026). Austin, Texas, January 12, 2026 (HWY26FH007).

OpenAI (2026b). Safety and alignment in an era of long-horizon models; (2026c, Aug 18). Pacing model development in an era of cyber-critical capabilities.

Reece, J. (2025, Oct 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore.

Röttger, P., et al. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. NAACL-HLT.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946.

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg #29579.

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321.

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296.

Waymo LLC (2025). Part 573 safety recall report 25E-084. NHTSA.

Wethington, C., & Tierney, B. (2025, Feb 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV.

Declaraciones

Documento complementario. El estudio completo detrás de este, con el catálogo de casos, la teoría y la especificación del módulo, es Chernets, V. (2026), AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards, https://ssrn.com/abstract=7473658. El módulo, el catálogo de casos y el archivo de la prueba de 144 ejecuciones se encuentran en https://doi.org/10.5281/zenodo.22774269.

Financiación. Ninguna financiación externa apoyó este trabajo.

Conflictos de intereses. Construí y operé los sistemas de la Sección 1 y escribí el módulo de la Sección 2. Soy solicitante nombrado en solicitudes de patentes pendientes, no patentes otorgadas, que cubren la automatización de hacer una pregunta a varios modelos y recopilar las respuestas. No cubren los componentes de supervisión que este artículo estudia. Cada paso del registro de campo y de la prueba aleatoria es reproducible manualmente con cualquier modelo.

Cómo se elaboró este registro. Las entradas de campo fueron extraídas por diez agentes de IA, cada uno leyendo un segmento disjunto de los corpus bajo un protocolo que fijó una tipología cerrada de nueve tipos de fallo, una calificación de fortaleza, una regla de evidencia vinculando cada afirmación a un archivo fechado por ruta y línea, y una bandera de sensibilidad. Parte de la codificación de los casos públicos se realizó de la misma manera: tres codificadores trabajaron independientemente, cada uno sin los códigos de los otros, y los tres fueron modelos de tres proveedores diferentes en lugar de tres sesiones de uno. Dieron códigos idénticos para 20 de los 32 casos públicos, y el resto se resolvió por mayoría. La capa que midió este registro se construye, por lo tanto, a partir del mismo tipo de componente que trata el artículo. El 14 de septiembre de 2026, cada número de ejecución utilizado aquí se verificó nuevamente contra los registros de ejecución, y cada cifra externa contra el documento del regulador, la página del editor o el propio artículo, y se descartaron las cifras que no pudieron confirmarse. Los asistentes de IA se utilizaron como instrumentos bajo mi dirección.

Disponibilidad de datos y código. El módulo, sus pruebas, los registros de reproducción y el script que los regenera se archivan en Zenodo como AI-Watchbird-Sheckley versión 1.1.0 bajo el identificador de concepto https://doi.org/10.5281/zenodo.22774269, que se resuelve a la versión actual. El mismo registro contiene el catálogo de casos, con la descripción, fuente y calificación de cada entrada, y los análisis de casos de los que se extrajeron las entradas de campo, cada entrada llevando el archivo y el pasaje en el que se basa; esos análisis fueron escritos en el idioma de trabajo de los registros y se publican en traducción al inglés, producida por máquina y verificada contra los originales, con identificadores, rutas, fechas y cadenas citadas mantenidas sin cambios. La prueba aleatoria de la Sección 3 se archiva en el mismo registro con su preregistro, el inventario de defectos plantados, la verificación de que cada defecto se detecta solo, el arnés, el script de análisis y el registro de eventos de cada una de las 144 ejecuciones. Los registros de coordinación subyacentes están disponibles de mí bajo solicitud. La versión completa de este trabajo, con las tablas de casos y la teoría, se archiva como un registro separado en https://doi.org/10.5281/zenodo.22849138.

Ética. Los registros describen los sistemas evaluados. Las decisiones del principal humano se reportan como hechos fechados. Terceros aparecen solo a través de sus documentos públicos. No se reclutó a ningún participante humano.

Texto citado. El cuento de Sheckley se cita del Proyecto Gutenberg eBook #29579, cuyo transcriptor no encontró evidencia de que el copyright estadounidense de la publicación de 1953 fuera renovado; el texto está en el dominio público en los Estados Unidos.

@misc{chernets2026guardsthataddguards,
  author       = {Chernets, Vadym},
  title        = {{Guards That Add Guards: Automated Oversight in Multi-Agent AI}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7496678},
  url          = {https://doi.org/10.2139/ssrn.7496678}
}