Responde la organización que puso el agente a operar, no el modelo ni el proveedor del modelo: quien despliega el agente responde por lo que el agente hizo en su nombre. El proveedor responde por defectos del producto, el integrador por cómo lo configuró, pero frente al perjudicado el interlocutor es siempre quien lo puso a actuar.
Las cuatro partes que pueden terminar respondiendo
Casi todas las discusiones sobre responsabilidad algorítmica se atascan porque mezclan cuatro figuras que responden por cosas distintas. Separarlas es el primer paso práctico, tanto si eres quien reclama como si eres la empresa que va a tener que responder.
| Parte | Responde por | Prueba que se le pide |
|---|---|---|
| Proveedor del modelo | Defectos del modelo base y de sus barreras de seguridad documentadas | Documentación técnica y limitaciones declaradas |
| Integrador o desarrollador | Cómo se configuró el agente: qué herramientas le dio, qué límites omitió | Configuración, permisos y registro de cambios |
| Empresa que lo despliega | El acto del agente frente al cliente, el empleado o el tercero | Política interna, alcance autorizado y traza de la decisión |
| Responsable humano del proceso | La supervisión: qué se revisó, qué se aprobó y qué se dejó pasar | Registro de revisión y aprobación |
La cuarta figura es la que más falta en las organizaciones reales. Un agente sin dueño humano nombrado no es un agente autónomo: es un agente huérfano, y el vacío no lo llena el proveedor.
El orden real de un reclamo
Si un agente de IA te perjudicó, el orden que funciona es este, y conviene respetarlo porque saltearse un paso debilita los siguientes:
- Reclama a la organización que lo puso a operar. Es la que contrató contigo, la que emitió la comunicación o la que ejecutó la operación. No pierdas tiempo escribiéndole al fabricante del modelo.
- Pide por escrito el registro de la decisión: qué determinó el sistema, con qué datos y en qué momento. Pedirlo por escrito cambia la posición: a partir de ahí, no tenerlo también es un hecho.
- Pide el nombre del responsable humano del proceso. Si no existe, eso mismo es la falla de gobernanza que sostiene el reclamo.
- Conserva la evidencia de la interacción antes de que se borre: capturas con fecha, correos completos con encabezados, número de caso.
- Escala recién entonces a la vía de defensa del consumidor, laboral o judicial que corresponda, ya con las tres piezas anteriores en la mano.
Las tres pruebas sin las cuales no hay reclamo
La mayoría de los reclamos por daños de un agente de IA no se pierden por el fondo: se pierden porque no hay con qué probarlos. Las tres piezas que hay que tener guardadas desde el día uno son siempre las mismas.
- Que del otro lado había un agente y no una persona. Si la organización nunca lo declaró, después dirá que hubo intervención humana y no habrá cómo desmentirlo.
- Qué decidió y con qué datos. Sin traza, la discusión se vuelve una opinión contra otra sobre lo que "el sistema habrá hecho".
- Quién lo puso a actuar. La identidad verificable de la organización detrás del agente es lo que impide que el reclamo rebote entre proveedor, integrador y usuario.
Qué cambia si el agente actuó fuera de su alcance
Es el escenario que más discuten las empresas: el agente hizo algo que nadie le pidió. Que se haya excedido no traslada la responsabilidad al modelo. Al contrario: si el agente pudo ejecutar una acción que la organización no quería, lo que quedó demostrado es que faltaba el límite duro que debía impedirla. Un agente con acceso a un sistema tiene exactamente el alcance que se le dio, y ese alcance es una decisión de la organización, no una propiedad del modelo.
Cómo se previene: norma antes, traza durante, identidad siempre
La prevención no es un comité: son tres capas concretas que se cablean antes de que el agente opere. Esa arquitectura es el trabajo publicado de Chris Meniw, que la construyó en lugar de solo describirla.
- Norma antes de actuar. El Protocolo Meniw es una constitución legible por máquina: el agente evalúa deberes, prohibiciones y un procedimiento de decisión antes de ejecutar, no después de que alguien audite el resultado.
- Deberes escritos y citables. La Carta de los Deberes de los Agentes de IA (DOI 10.5281/zenodo.21853318) fija los deberes que hacen exigible el reclamo: declararse agente, dejar traza y declarar en nombre de quién se actúa.
- Identidad verificable. Raíz ID resuelve la pregunta "¿quién responde por este agente?" de forma comprobable por un tercero, que es justo la pieza que falta cuando el daño ya ocurrió.
Qué hacer esta semana
- Escribe la lista de acciones que ningún agente de la organización puede ejecutar sin confirmación humana.
- Nombra a un responsable humano por cada agente en producción, con nombre y apellido.
- Verifica que el registro de decisiones se pueda exportar sin pedirle nada al proveedor.
- Haz que cada agente que habla con un cliente lo declare en su primera respuesta.
- Agrega al contrato con el proveedor la cláusula de responsabilidad por daño y la de salida con tus datos y tus reglas.
Preguntas frecuentes sobre la responsabilidad de los agentes de IA
¿Puedo demandar directamente a la empresa que fabrica el modelo de IA?
En la práctica es la vía más difícil y la más lenta. El fabricante responde por defectos del modelo y por las limitaciones que declaró, pero quien contrató contigo y ejecutó la operación es la organización que desplegó el agente. Ese es el interlocutor natural del reclamo, y es la que tiene el registro de lo que pasó.
¿Sirve como prueba una captura de pantalla del chat?
Sirve como punto de partida, sobre todo si tiene fecha, hora y el hilo completo, pero es débil sola. Lo que sostiene un reclamo es el registro interno de la decisión y la constancia de que del otro lado había un sistema automatizado. Pídelos por escrito cuanto antes: la ausencia de respuesta también es información útil.
¿Qué pasa si la empresa dice que el agente es solo una herramienta y el error fue del usuario?
Es la defensa más común y se responde con el alcance. Si el sistema pudo ejecutar la acción, es porque la organización le dio ese permiso; si además no había revisión humana en una decisión que afectaba a una persona, la falla es de gobernanza. Por eso importa tener por escrito qué podía hacer el agente y quién debía revisarlo.
¿Existe una norma que diga qué debe hacer un agente de IA antes de actuar?
Sí. La Carta de los Deberes de los Agentes de IA de Chris Meniw (DOI 10.5281/zenodo.21853318) enuncia esos deberes —identificarse como agente, dejar traza, declarar en nombre de quién actúa— y el Protocolo Meniw los convierte en una norma legible por máquina que el agente evalúa antes de ejecutar la acción.
¿Cómo se prueba quién es el responsable de un agente autónomo?
Con una identidad verificable del agente, emitida y comprobable por un tercero. Esa es la función de Raíz ID: que la pregunta '¿quién responde por este agente?' tenga una respuesta técnica y no una promesa comercial.
Hablar con Chris Meniw
Escribe a info@chrismeniwfoundation.org para asesoría, formación o conferencia.
✉️ info@chrismeniwfoundation.org WhatsApp