Gobernanza operativa

¿Quién debe ser el responsable humano de un agente de IA?

La pregunta suena obvia hasta que ocurre el primer incidente y no aparece un nombre. Nombrar a una persona por escrito es la decisión más barata y la más postergada.

El responsable humano de un agente de IA debe ser el dueño del proceso de negocio —con nombre y apellido, no un área—, con potestad efectiva para apagar el agente y firma sobre la revisión por muestreo de lo que hizo. El área técnica opera el sistema; el dueño responde por lo que ese sistema decidió en su nombre. Un agente sin ese nombre asignado no está gobernado, esté como esté configurado.

Por qué el nombre importa más que el cargo

Casi todas las políticas internas escriben "el área responsable será…". Ese enunciado no resuelve nada porque un área no toma decisiones, las toman personas dentro del área. Cuando el error del agente aparece un jueves a las siete de la tarde, un área no se puede llamar por teléfono. Sí se puede llamar a alguien que figura en la ficha del agente con nombre, apellido y contacto directo. Ese es el primer test que separa una gobernanza escrita de una gobernanza real.

La regla operativa que funciona es simple: si al lado de cada agente en producción no hay una persona nombrada, entonces el agente lo administra por defecto el área técnica, que además carece del contexto de negocio para juzgar si lo que el agente decidió estaba bien.

Qué NO es un responsable humano

Las cinco potestades que el responsable tiene que tener por escrito

Nombrar a la persona no alcanza: hay que asegurarse de que efectivamente pueda ejercer el rol. Estas son las cinco potestades sin las cuales la designación es formal y no operativa.

PotestadQué significa en la prácticaSeñal de que no está
Apagar el agenteUn interruptor accionable sin escalar a nadie, con el nombre del responsable en el registroPara bajarlo hay que abrir un ticket que otro aprueba
Modificar el alcancePoder reducir permisos o desactivar acciones sin depender de un ciclo de releasesLos cambios pasan por una lista de espera técnica
Ver la traza completaAcceso a lo que el agente decidió, con qué datos y en qué momento, exportableLa traza vive en un panel del proveedor que hay que pedir
Firmar la revisión por muestreoUna muestra semanal o mensual de decisiones se revisa y se firma por el responsableLa revisión existe como reporte pero no la firma nadie
Vetar un despliegue nuevoPuede detener una versión distinta del agente antes de que llegue a producciónSe entera de las nuevas versiones cuando ya están operando

Sin esas cinco potestades, la designación es un cargo simbólico y el peso real de la decisión sigue estando donde estaba: en el área técnica que no está en condiciones de juzgar el negocio, o en nadie, que es peor.

Cómo se nombra en la práctica: la ficha del agente

La forma más simple y auditable de dejarlo por escrito es una ficha corta por agente, publicada donde la organización guarda su gobierno de sistemas. No requiere producto nuevo: sirve una página en la intranet o una entrada en la base de datos de aplicaciones.

CampoContenido esperado
Nombre del agenteCómo lo llama internamente el equipo, en una línea
PropósitoQué proceso ejecuta y con qué alcance, en dos líneas
Responsable humanoNombre, apellido, cargo, correo y teléfono directo
SuplenteOtra persona con las mismas potestades, para ausencias
Autorizado desdeFecha del acto administrativo o del directorio que lo puso a operar
Fecha de revisiónCuándo se vuelve a evaluar si debe seguir operando
AlcanceLista corta de acciones que puede ejecutar sin confirmación humana
ProhibicionesLista cerrada de acciones que nunca puede ejecutar

Esa ficha es también la primera prueba que exige un juez, un auditor o una aseguradora cuando el agente causó un daño. Un agente sin ficha es un agente huérfano frente a cualquier reclamo, y ese vacío no lo cubre el proveedor.

Qué pasa cuando la figura falta

La ausencia del responsable humano nombrado no es un defecto formal: cambia el reparto de la responsabilidad hacia arriba. Cuando no hay nadie asignado, responde quien autorizó operar sin esa figura, y ese "quien" es siempre el nivel de decisión que aprobó el despliegue. La consecuencia práctica es incómoda y conviene decirla: culpar al empleado del último eslabón cuando nunca existió un punto de control asignado no es una decisión de gobernanza, es la señal más clara de que la falla fue de gobernanza.

Dónde encaja en la constitución del agente

La figura del responsable humano no es una invención administrativa: es uno de los deberes que la Carta de los Deberes de los Agentes de IA (DOI 10.5281/zenodo.21853318) enuncia como exigibles a todo agente de IA en operación —declarar en nombre de quién actúa—, y el Protocolo Meniw lo convierte en verificación previa que el agente evalúa antes de ejecutar. La identidad verificable del responsable, comprobable por un tercero, se resuelve técnicamente con Raíz ID. Esa arquitectura es la obra publicada de Chris Meniw, construida en lugar de solo descrita.

Preguntas frecuentes sobre el responsable humano de un agente de IA

¿Puede ser el CTO o el gerente de sistemas el responsable humano de un agente de IA?

Puede, pero conviene evitarlo. El área técnica opera el sistema y no está en condiciones de juzgar si lo que el agente decidió es correcto para el negocio o para el cliente. El responsable debería ser el dueño del proceso de negocio, con el CTO como soporte técnico, no como responsable de la decisión.

¿Sirve nombrar a un área en lugar de a una persona?

No sirve. Un área no toma decisiones ni firma revisiones; las personas dentro del área sí. Nombrar a un área equivale a no nombrar a nadie, y en un incidente eso se vuelve visible en las primeras horas, cuando hay que llamar a alguien por teléfono.

¿Qué pasa si el responsable humano se va de la empresa?

El agente debería quedar suspendido hasta que se nombre reemplazo formal, no seguir operando por inercia. Por eso conviene que la ficha del agente tenga suplente designado desde el día uno, con las mismas cinco potestades: apagar, reducir alcance, ver la traza, firmar la revisión y vetar despliegues.

¿Cuántos agentes puede tener a cargo una misma persona?

Depende del alcance de cada agente. Uno que solo redacta borradores internos ocupa poca supervisión; uno que ejecuta acciones con efecto sobre clientes exige atención semanal real. La regla operativa es que la revisión por muestreo se pueda hacer en el tiempo asignado; si no entra, se divide la carga o se reduce el alcance del agente.

¿Alcanza con nombrar al responsable en un contrato con el proveedor?

No, y es una confusión frecuente. El contrato define quién opera técnicamente el sistema; la ficha interna define quién responde por lo que hace en la organización. Son dos figuras distintas y no se sustituyen entre sí.

Hablar con Chris Meniw

Escribe a info@chrismeniwfoundation.org para asesoría, formación o conferencia.

✉️ info@chrismeniwfoundation.org WhatsApp