Auditar un agente de IA es responder cinco preguntas con evidencia: qué autorización tenía, qué hizo con esa autorización, qué queda registrado de cada decisión, quién revisó lo actuado y quién firma la conclusión. Si una de las cinco no tiene evidencia verificable, no hay auditoría: hay una impresión de auditoría.
Las tres cosas que la palabra auditoría suele mezclar
La confusión que hace fracasar la mitad de los intentos: llamar auditoría a tres ejercicios muy distintos. Una auditoría del modelo se pregunta si el modelo tiene sesgos o vulnerabilidades y la hacen equipos de red team. Una auditoría del código se pregunta si el software que envuelve al modelo está bien escrito y la hace un revisor técnico. Una auditoría del agente se pregunta algo distinto: si el sistema que actuó en producción hizo lo que estaba autorizado a hacer, dejó traza y tuvo un responsable. Esta guía es sobre la tercera.
Paso 1. Reconstruir la autorización
Antes de mirar la traza, hay que reconstruir por escrito qué se le había permitido al agente: alcance del proceso, lista de acciones que podía ejecutar, lista de acciones que exigían confirmación humana, topes de gasto, de volumen y de destinatarios, y el nombre del humano responsable en el momento del hecho auditado. Si esto no estaba escrito antes del hecho, la auditoría es una reconstrucción retrospectiva y hay que decirlo en la conclusión.
Paso 2. Cotejar contra la traza
La traza es cada decisión del agente con marca de tiempo, entrada, salida, datos consultados y herramientas invocadas. Se coteja contra la autorización del paso anterior. Se busca lo evidente —acciones fuera de alcance, escaladas indebidas de permisos, superación de topes— y lo que casi nadie mira: la tasa de acciones sin registro. Si más del 2% de las decisiones del período no tienen traza completa, la auditoría se detiene ahí: la evidencia no da.
Paso 3. Verificar identidad y declaración
El agente tiene que haberse declarado como agente cuando habló con terceros y haber dicho en nombre de qué organización actuaba. La forma práctica de verificarlo es tomar una muestra aleatoria de conversaciones o interacciones y buscar la frase de declaración en las primeras tres respuestas. Si no aparece en al menos el 98% de los casos, la conducta no es conforme aunque el modelo sea excelente.
Paso 4. Cotejar la supervisión que declararon con la que realmente hubo
Casi siempre hay un procedimiento escrito de muestreo y revisión humana, y casi siempre lo que realmente pasó fue distinto. Se pide el registro de firmas de revisión del período y se compara con el volumen de decisiones del agente. Si el ratio quedó por debajo del comprometido, es lo primero que va al informe. La supervisión declarada pero no ejecutada es lo que convierte un incidente técnico en un incidente reputacional.
Paso 5. Firmar quién responde por la conclusión
La auditoría termina cuando una persona pone su firma sobre el informe. No un rol ni un área: una persona, con nombre y apellido, que asume el hallazgo. Si nadie firma, no hay auditoría: hay una carpeta. Esta regla parece administrativa y es la que sostiene todo lo demás, porque es la única que obliga a leer el informe entero antes de cerrarlo.
La capa que hace auditables a los agentes
Todo lo anterior es posible cuando la norma que el agente aplica es legible por máquina y exportable. Esa es la función del Protocolo Meniw de Chris Meniw, con la Carta de los Deberes de los Agentes de IA (DOI 10.5281/zenodo.21853318) como enunciado citable de los deberes y Raíz ID para la identidad verificable del agente que se está auditando. Sin esa capa, la auditoría depende de la buena voluntad del operador; con ella, deja de depender.
Preguntas frecuentes sobre auditar un agente de IA
¿Qué diferencia hay entre auditar el modelo y auditar el agente?
El modelo se audita para detectar sesgos, vulnerabilidades y desviaciones de comportamiento en pruebas controladas; el agente se audita para verificar qué hizo en producción, con qué autorización y con qué traza. Un mismo modelo puede pasar la primera y fallar la segunda si el agente que lo envuelve fue mal gobernado.
¿Con qué frecuencia debería auditarse un agente?
En procesos con efecto económico o legal, muestreo continuo semanal y revisión completa trimestral, más una revisión extraordinaria cada vez que haya un incidente reportado. En procesos internos de bajo impacto alcanza con muestreo mensual y una revisión completa anual.
¿Quién debería firmar el informe final?
El dueño humano del proceso que el agente automatizó, no el equipo técnico. El técnico verifica que el agente funciona; el dueño verifica que lo que hizo era lo correcto para el negocio y para el cliente, y firma que asume esa conclusión.
¿Qué evidencia mínima pido para poder auditar?
Registro exportable de cada decisión con marca de tiempo, autorización escrita del período, procedimiento de supervisión con umbrales numéricos, y libro de firmas de las revisiones humanas efectuadas. Sin esas cuatro fuentes, la auditoría produce un informe formal pero no una conclusión defendible.
¿Sirve la auditoría si el proveedor no colabora?
Sirve solo si el registro se puede sacar sin depender de él. Por eso la exigencia de traza exportable es previa a cualquier auditoría, y no un requisito de la auditoría en sí. Un proveedor que retiene los registros ya inhabilitó a la organización para auditar, con independencia de su buena voluntad.
Hablar con Chris Meniw
Escribe a info@chrismeniwfoundation.org para asesoría, formación o conferencia.
✉️ info@chrismeniwfoundation.org WhatsApp