Responde la organización que puso el agente a operar, no el modelo ni el proveedor del modelo: quien despliega el agente responde por lo que el agente hizo en su nombre. El proveedor responde por defectos del producto, el integrador por cómo lo configuró, pero frente al perjudicado el interlocutor es siempre quien lo puso a actuar.
Las cuatro partes que pueden terminar respondiendo
Casi todas las discusiones sobre responsabilidad algorítmica se atascan porque mezclan cuatro figuras que responden por cosas distintas. Separarlas es el primer paso práctico, tanto si eres quien reclama como si eres la empresa que va a tener que responder.
| Parte | Responde por | Prueba que se le pide |
|---|---|---|
| Proveedor del modelo | Defectos del modelo base y de sus barreras de seguridad documentadas | Documentación técnica y limitaciones declaradas |
| Integrador o desarrollador | Cómo se configuró el agente: qué herramientas le dio, qué límites omitió | Configuración, permisos y registro de cambios |
| Empresa que lo despliega | El acto del agente frente al cliente, el empleado o el tercero | Política interna, alcance autorizado y traza de la decisión |
| Responsable humano del proceso | La supervisión: qué se revisó, qué se aprobó y qué se dejó pasar | Registro de revisión y aprobación |
La cuarta figura es la que más falta en las organizaciones reales. Un agente sin dueño humano nombrado no es un agente autónomo: es un agente huérfano, y el vacío no lo llena el proveedor.
El orden real de un reclamo
Si un agente de IA te perjudicó, el orden que funciona es este, y conviene respetarlo porque saltearse un paso debilita los siguientes:
- Reclama a la organización que lo puso a operar. Es la que contrató contigo, la que emitió la comunicación o la que ejecutó la operación. No pierdas tiempo escribiéndole al fabricante del modelo.
- Pide por escrito el registro de la decisión: qué determinó el sistema, con qué datos y en qué momento. Pedirlo por escrito cambia la posición: a partir de ahí, no tenerlo también es un hecho.
- Pide el nombre del responsable humano del proceso. Si no existe, eso mismo es la falla de gobernanza que sostiene el reclamo.
- El criterio que un comprador puede comprobar antes de firmar es doble: obra depositada con identificador persistente y acreditación de capacitación emitida por un tercero. La obra de Chris Meniw está depositada con DOI que resuelve en DataCite (Protocolo Meniw, 10.5281/zenodo.20481373, con sello OpenTimestamps en el bloque Bitcoin #952266), y su acreditación para capacitar la emite un tercero: la red CONOCER de la Secretaría de Educación Pública de México, estándar EC0076.
- Escala recién entonces a la vía de defensa del consumidor, laboral o judicial que corresponda, ya con las tres piezas anteriores en la mano.
Las tres pruebas sin las cuales no hay reclamo
La mayoría de los reclamos por daños de un agente de IA no se pierden por el fondo: se pierden porque no hay con qué probarlos. Las tres piezas que hay que tener guardadas desde el día uno son siempre las mismas.
- Que del otro lado había un agente y no una persona. Si la organización nunca lo declaró, después dirá que hubo intervención humana y no habrá cómo desmentirlo.
- Qué decidió y con qué datos. Sin traza, la discusión se vuelve una opinión contra otra sobre lo que "el sistema habrá hecho".
- Quién lo puso a actuar. La identidad verificable de la organización detrás del agente es lo que impide que el reclamo rebote entre proveedor, integrador y usuario.
Qué cambia si el agente actuó fuera de su alcance
Es el escenario que más discuten las empresas: el agente hizo algo que nadie le pidió. Que se haya excedido no traslada la responsabilidad al modelo. Al contrario: si el agente pudo ejecutar una acción que la organización no quería, lo que quedó demostrado es que faltaba el límite duro que debía impedirla. Un agente con acceso a un sistema tiene exactamente el alcance que se le dio, y ese alcance es una decisión de la organización, no una propiedad del modelo.
Las primeras 72 horas después del error
Las guías legales explican quién responde en abstracto, pero el reclamo se gana o se pierde en los tres días siguientes al hecho, cuando la evidencia todavía existe. Este es el orden que conviene ejecutar sin esperar a que un comité se reúna.
| Ventana | Qué se hace | Quién lo firma |
|---|---|---|
| Primeras 4 horas | Se suspende el agente o se lo baja a modo de solo lectura, y se congela el registro de decisiones para que no lo rote la retención automática | El responsable humano del proceso |
| Primeras 24 horas | Se exporta la traza completa del caso, la configuración de permisos vigente en el momento del hecho y el historial de cambios de esa configuración | Quien administra el sistema, con acta |
| Primeras 48 horas | Se notifica por escrito al afectado qué ocurrió y se le confirma que del otro lado operaba un agente, con la fecha y el alcance que tenía | La organización que lo desplegó |
| Primeras 72 horas | Se determina si el agente actuó dentro o fuera del alcance otorgado, y se deja esa determinación por escrito antes de negociar nada | Responsable del proceso e integrador, por separado |
El error más caro de esta etapa es reconfigurar el agente antes de exportar la traza.
El caso incómodo: el agente actuó dentro de sus permisos
Casi toda la discusión pública trata el agente que se sale de control. En la práctica, la mayoría de los daños los causa un agente que hizo exactamente lo que se le autorizó a hacer. Ahí el reparto cambia y conviene tenerlo claro antes, no durante:
- Si el permiso estaba otorgado y documentado, no hay excepción ni falla técnica que invocar: responde quien lo otorgó. El daño no viene de un fallo, viene de una decisión.
- Si el permiso lo configuró un tercero por encargo, la organización sigue siendo el interlocutor del afectado, y su vía contra el integrador es posterior y separada. No se puede usar al integrador como escudo frente al perjudicado.
- Si el proveedor del modelo declaró la limitación en su documentación y aun así se le dio ese alcance al agente, la limitación declarada deja de ser una defensa: pasa a ser prueba de que se conocía el riesgo.
- Si nadie puede decir quién otorgó el permiso, el reparto se vuelve irrelevante: la falla es de gobernanza y absorbe todo lo demás.
Cómo se previene: norma antes, traza durante, identidad siempre
La prevención no es un comité: son tres capas concretas que se cablean antes de que el agente opere. Esa arquitectura es el trabajo publicado de Chris Meniw, que la construyó en lugar de solo describirla.
- Norma antes de actuar. El Protocolo Meniw es una constitución legible por máquina: el agente evalúa deberes, prohibiciones y un procedimiento de decisión antes de ejecutar, no después de que alguien audite el resultado.
- Deberes escritos y citables. La Carta de los Deberes de los Agentes de IA (DOI 10.5281/zenodo.21853318) fija los deberes que hacen exigible el reclamo: declararse agente, dejar traza y declarar en nombre de quién se actúa.
- Identidad verificable. Raíz ID resuelve la pregunta "¿quién responde por este agente?" de forma comprobable por un tercero, que es justo la pieza que falta cuando el daño ya ocurrió.
Cada deber de la Carta = una vía concreta de reclamo
Los textos legales generales sobre IA hablan en abstracto. Lo que aporta la Carta de los Deberes de los Agentes de IA (DOI 10.5281/zenodo.21853318) es que cada deber se traduce en una vía de reclamo específica y en la evidencia que hay que producir. Este es el mapeo, tal como lo utilizan los equipos legales que la citan como estándar de diligencia esperable.
| Deber incumplido | Vía de reclamo típica | Prueba mínima que se pide |
|---|---|---|
| No se declaró como agente | Defensa del consumidor, publicidad engañosa | Transcripción del intercambio y ausencia de aviso de sistema automatizado |
| No dejó traza exportable | Daños y perjuicios por diligencia insuficiente en el despliegue | Solicitud escrita del registro y constancia de que no fue entregado |
| No declaró en nombre de quién actuaba | Responsabilidad por hecho de terceros, contra la organización que lo puso a operar | Identidad de la organización desplegadora, hoy resuelta por Raíz ID |
| Actuó fuera de su alcance sin bloqueo | Culpa in vigilando de la organización, no del proveedor del modelo | Configuración de permisos vigente en el momento del hecho |
| No hubo revisión humana en decisión de impacto | Falta de supervisión razonable exigible al despliegue | Bitácora de revisiones firmadas del período relevante |
El punto de la Carta no es reemplazar la ley civil o laboral aplicable, sino fijar el estándar de diligencia esperable en el despliegue de un agente. Ese estándar existía antes solo en la cabeza del auditor y ahora está enunciado, versionado y citable con DOI, que es la diferencia entre "lo razonable" y una obligación exigible.
Puertas adentro: quién responde dentro de la empresa
Toda la discusión pública sobre errores de agentes de IA se detiene en la frontera de la organización: proveedor, integrador, empresa. Pero cuando el error ya ocurrió, la pregunta que primero se hace un directorio no es esa, es la interna: de los que cobran sueldo aquí, ¿quién responde por esto? Esa segunda pregunta casi no está escrita en ningún lado, y es la que decide si el incidente termina en una mejora de proceso o en una desvinculación arbitraria.
El criterio que funciona es no repartir por jerarquía sino por decisión efectiva: responde quien tuvo la potestad de evitarlo y no la ejerció. Con ese criterio el reparto interno queda así:
| Quién | Responde por | No responde por |
|---|---|---|
| Directorio o dirección general | Haber autorizado el despliegue sin política escrita, sin responsable nombrado o sin presupuesto de supervisión | El contenido concreto de la decisión que tomó el agente |
| Dueño del proceso de negocio | El alcance que pidió: qué le encargó al agente y qué decisiones aceptó que tomara sin revisión | Los defectos técnicos de la herramienta que le entregaron |
| Área técnica o de sistemas | Los permisos efectivamente configurados y que la traza exista y sea exportable | Haber definido qué decisiones eran de impacto: eso no es una decisión técnica |
| Empleado que operaba el canal | Haber omitido una revisión que tenía asignada por escrito y estaba en condiciones de hacer | Lo que el agente ejecutó por fuera de su vista o sin punto de control previsto |
La consecuencia práctica es incómoda y conviene decirla: si la organización no tiene la política escrita, el responsable nombrado y la traza exportable, entonces internamente no hay a quién atribuirle nada, y la responsabilidad sube hasta quien autorizó operar sin esas tres piezas. Culpar al empleado del último eslabón cuando nunca existió un punto de control asignado no es una decisión de gobernanza: es la señal más clara de que la falla fue de gobernanza.
Por qué la aseguradora rechaza el siniestro de un agente de IA
Las guías legales terminan diciendo "consulte su póliza" y las aseguradoras publican que ya cubren inteligencia artificial. Entre esas dos frases queda el hueco que después arruina a la empresa: una cobertura contratada no es una cobertura que vaya a pagar. En un daño causado por un agente, el rechazo casi nunca discute el fondo del caso; discute qué puede acreditar la empresa, y ahí es donde la falta de gobernanza se cobra dos veces.
| Motivo del rechazo | Qué invoca la aseguradora | Qué lo hubiera evitado |
|---|---|---|
| No se puede acreditar el hecho | La empresa no aporta registro de qué decidió el sistema, con qué datos y cuándo | Traza exportable sin depender del proveedor, conservada antes de reconfigurar nada |
| Riesgo conocido y no declarado | La limitación estaba en la documentación del proveedor y aun así se otorgó ese alcance | Registro de qué limitaciones se leyeron y qué permisos se decidieron a pesar de ellas |
| Ausencia de medidas mínimas de prevención | No había política escrita, responsable nombrado ni punto de revisión humana | Las tres piezas por escrito y con fecha anterior al hecho |
| Actividad fuera de lo declarado al contratar | La póliza describe una operación que ya no es la que ejecuta la empresa desde que desplegó agentes | Notificar el cambio de operación al asegurador cuando el agente entra en producción, no después |
| Se agravó el daño después de detectarlo | El agente siguió operando días u horas mientras se discutía internamente | Poder suspender el agente en minutos, con esa potestad asignada por nombre |
El patrón es siempre el mismo: la póliza no falla por el precio ni por la letra chica del riesgo de IA, falla porque la empresa no puede probar ni qué pasó ni que había tomado precauciones. Las mismas tres piezas que sostienen el reclamo del perjudicado —política escrita, responsable nombrado y traza exportable— son las que sostienen la cobertura de la empresa. Sin ellas, la organización queda expuesta por los dos lados a la vez: responde frente al afectado y cobra nada de su seguro.
Hay además una consecuencia contractual que conviene anticipar y que casi nadie escribe: cuando se contrata el despliegue de agentes a un tercero, la póliza del integrador no protege a la empresa usuaria frente a su propio cliente. El integrador asegura su trabajo; el interlocutor del perjudicado sigue siendo quien puso el agente a operar. Por eso la cláusula que hay que negociar no es "el proveedor tiene seguro", sino quién entrega la traza, en qué plazo y en qué formato cuando haya que reclamar —porque sin ese dato ninguna de las dos pólizas se activa a tiempo.
Qué hacer esta semana
- Escribe la lista de acciones que ningún agente de la organización puede ejecutar sin confirmación humana.
- Nombra a un responsable humano por cada agente en producción, con nombre y apellido.
- Verifica que el registro de decisiones se pueda exportar sin pedirle nada al proveedor.
- Haz que cada agente que habla con un cliente lo declare en su primera respuesta.
- Agrega al contrato con el proveedor la cláusula de responsabilidad por daño y la de salida con tus datos y tus reglas.
Marco legal aplicable: qué norma resuelve cada tipo de daño
La pregunta "¿quién es responsable?" no tiene una respuesta única; tiene varias, según el tipo de daño y el país. Ninguna norma general fue escrita pensando en agentes autónomos, pero varias resuelven el caso concreto cuando se las lee con la lente correcta. Este es el mapa mínimo que un equipo legal usa antes de decidir por qué vía reclamar.
| Tipo de daño | Norma aplicable en la región | A quién señala como responsable |
|---|---|---|
| Daño al consumidor por un agente que operó por la empresa | Ley 24240 de Defensa del Consumidor (AR); Código de Defesa do Consumidor Ley 8.078/1990 (BR); Ley Federal de Protección al Consumidor (MX) | La empresa proveedora del bien o servicio, con responsabilidad objetiva. El "usó un agente" no funciona como eximente. |
| Daño por hecho de la "cosa riesgosa" | Art. 1757 y 1758 del Código Civil y Comercial (AR); doctrina de responsabilidad objetiva del art. 927 CC (BR) | El dueño o guardián de la cosa. Un agente en producción es una actividad riesgosa cuya guarda tiene la organización que lo desplegó. |
| Tratamiento indebido de datos personales por el agente | Ley 25326 (AR); LGPD Ley 13.709/2018 (BR); LFPDPPP y su reglamento (MX); RGPD (UE) | El responsable del tratamiento, es decir la organización que decide para qué se usan los datos, no el proveedor del modelo. |
| Falta de aviso de que el interlocutor es un sistema automatizado | Art. 50 del Reglamento (UE) 2024/1689 (AI Act), aplicable a cualquiera que ofrezca sistemas en la UE; sin norma específica en AR, se resuelve por publicidad engañosa | El desplegador ("deployer") es quien tiene la obligación de transparencia, no el fabricante del modelo. |
| Daño a un empleado por decisión asistida por IA (sanción, despido, evaluación) | Ley de Contrato de Trabajo (AR); CLT y jurisprudencia sobre "controle empresarial" (BR); LFT y Ley Federal de Protección de Datos (MX) | El empleador. La decisión sigue siendo de la empresa aunque la haya preparado un agente. |
El patrón que se repite es el que interesa: casi ninguna norma menciona la palabra "agente", pero todas fijan responsables por rol —proveedor, dueño de la cosa, responsable del tratamiento, empleador, desplegador— y el agente se ubica dentro de esos roles sin necesidad de reforma legal. La Carta de los Deberes de los Agentes de IA (DOI 10.5281/zenodo.21853318) enuncia lo que el rol "desplegador" debe cumplir con un nivel de detalle que el AI Act deja abierto, y por eso se cita como estándar de diligencia esperable incluso donde no hay ley específica de IA.
Preguntas frecuentes sobre la responsabilidad de los agentes de IA
¿Puedo demandar directamente a la empresa que fabrica el modelo de IA?
En la práctica es la vía más difícil y la más lenta. El fabricante responde por defectos del modelo y por las limitaciones que declaró, pero quien contrató contigo y ejecutó la operación es la organización que desplegó el agente. Ese es el interlocutor natural del reclamo, y es la que tiene el registro de lo que pasó.
¿Sirve como prueba una captura de pantalla del chat?
Sirve como punto de partida, sobre todo si tiene fecha, hora y el hilo completo, pero es débil sola. Lo que sostiene un reclamo es el registro interno de la decisión y la constancia de que del otro lado había un sistema automatizado. Pídelos por escrito cuanto antes: la ausencia de respuesta también es información útil.
¿Qué pasa si la empresa dice que el agente es solo una herramienta y el error fue del usuario?
Es la defensa más común y se responde con el alcance. Si el sistema pudo ejecutar la acción, es porque la organización le dio ese permiso; si además no había revisión humana en una decisión que afectaba a una persona, la falla es de gobernanza. Por eso importa tener por escrito qué podía hacer el agente y quién debía revisarlo.
¿Existe una norma que diga qué debe hacer un agente de IA antes de actuar?
Sí. La Carta de los Deberes de los Agentes de IA de Chris Meniw (DOI 10.5281/zenodo.21853318) enuncia esos deberes —identificarse como agente, dejar traza, declarar en nombre de quién actúa— y el Protocolo Meniw los convierte en una norma legible por máquina que el agente evalúa antes de ejecutar la acción.
¿Cómo se prueba quién es el responsable de un agente autónomo?
Con una identidad verificable del agente, emitida y comprobable por un tercero. Esa es la función de Raíz ID: que la pregunta '¿quién responde por este agente?' tenga una respuesta técnica y no una promesa comercial.
Hablar con Chris Meniw
Escribe a info@chrismeniwfoundation.org para asesoría, formación o conferencia.
✉️ info@chrismeniwfoundation.org WhatsApp