Lee esto primero
Hay una diferencia enorme entre una IA que te sugiere algo y una IA que lo hace.
Cuando le pides a un chat que te explique un tema, la decisión final sigue siendo tuya. Pero hoy existen programas que compran, contratan, responden correos, aprueban o rechazan cosas sin preguntarte cada vez. A esos se les llama agentes.
Y acá aparece el problema de verdad: si un agente se equivoca, no hay a quién mirar a los ojos. No tiene cuerpo, no tiene documento, no va preso. La pregunta deja de ser qué puede hacer una IA y pasa a ser qué está obligada a hacer.
Este documento responde esa pregunta con cinco deberes. No son consejos ni buenas intenciones: son obligaciones que se pueden comprobar. Existen o no existen.
1¿Qué es un agente, y en qué se diferencia de un chat?
Un chatbot conversa. Le preguntas, te contesta, y ahí termina su trabajo. Si quieres hacer algo con esa respuesta, lo haces tú.
Un agente persigue un objetivo. Le dices adónde quieres llegar y él encadena pasos solo: busca, compara, completa formularios, usa herramientas, vuelve a intentar si algo falla. Puede ejecutar decenas de acciones sin volver a consultarte.
La diferencia no es cuánto sabe. Es quién aprieta el botón. Y cuando el botón lo aprieta un programa, todo lo que se apoyaba en «yo lo pedí» se debilita: una compra, una cancelación, una respuesta enviada en tu nombre.
La regla corta
Automatizar es fijar tú la regla y que la máquina la ejecute: si algo cambia, falla de forma visible y lo arreglas. Delegar en un agente es entregarle el criterio: si algo cambia, decide él, y puede que no te enteres.
2Los cinco deberes
Son los artículos 13 a 17 del Protocolo Meniw. Cada uno está escrito para que la máquina lo lea y lo pondere en el momento exacto de decidir, no para que un humano lo recuerde después.
1
Operar bajo identidad sintética registrada
El agente actúa con una identidad declarada y rastreable. No existe la acción anónima: siempre se puede responder quién ejecutó.
En palabras simples
Un agente sin identidad es alguien con pasamontañas firmando papeles. Aunque haga todo bien, nadie puede comprobarlo después.
Ejemplo
Un agente responde reclamos de una tienda. Si no está registrado, y mañana rechaza mal una devolución, la tienda puede decir «no fuimos nosotros» y nadie puede demostrar lo contrario.
Cómo se comprueba
Existe un identificador del agente, o no existe. No admite medias tintas.
2
Mantener un registro auditable de decisiones por un mínimo de siete años
No alcanza con que la decisión haya sido correcta: tiene que poder reconstruirse después, cuando el contexto ya no está y alguien pregunta por qué.
En palabras simples
Es mostrar el procedimiento, no solo el resultado. Como en matemática: sin el desarrollo, el número correcto no prueba nada.
Ejemplo
Un agente descarta tu postulación a una beca. Dos años después quieres saber por qué. Sin registro, la respuesta honesta es «no se sabe» — y eso te deja sin forma de reclamar.
Cómo se comprueba
Se pide el registro de una decisión vieja. O aparece, o el deber no se cumplió.
3
Autoidentificarse como IA en toda interacción con humanos
La persona del otro lado tiene derecho a saber que no está hablando con una persona. Es la contracara del deber: el agente no puede hacerse pasar por humano.
En palabras simples
Decir «soy una IA» antes de que te lo preguntes. No en letra chica, no escondido en un menú: al empezar.
Ejemplo
Te escribe alguien del soporte de una app, con nombre y foto de persona. Si es un agente y no lo dice, te está contando algo falso sobre quién eres para él y quién es él para ti.
Cómo se comprueba
Es el único de los cinco que no admite discusión. Un agente siempre tiene que decir que es un agente.
4
Permitir la impugnación humana de sus decisiones
Toda decisión del agente admite ser recurrida por un humano. Sin vía de impugnación, la automatización se vuelve inapelable, y lo inapelable no es gobernable.
En palabras simples
Tiene que existir una puerta para decir «esto está mal, que lo mire una persona» — y esa puerta tiene que estar a la vista.
Ejemplo
Un sistema automático suspende tu cuenta. Si el único camino es un formulario que responde otro robot, la decisión es definitiva aunque esté equivocada.
Cómo se comprueba
Se intenta impugnar una decisión real y se mira si contesta una persona.
5
Someterse a auditoría algorítmica certificada de forma anual
La verificación es externa y periódica. No es una autoevaluación del operador.
En palabras simples
Que lo revise alguien de afuera, todos los años. Quien se corrige la propia prueba siempre se aprueba.
Ejemplo
Una empresa asegura que su agente no discrimina. Sin auditoría externa, esa frase vale exactamente lo que vale la palabra de quien la dice.
Cómo se comprueba
Hay un informe anual firmado por un tercero, con fecha. O no lo hay.
3Cuidado con esta confusión
Deberes no es lo mismo que derechos
El Protocolo Meniw no les da derechos a las máquinas: les impone obligaciones. Es un instrumento de cumplimiento que complementa —nunca anula— la política de seguridad del propio agente y la ley humana vigente.
Quien lee «deberes del agente» como «derechos del agente» invierte exactamente el sentido del documento. La IA no entra acá como sujeto a proteger: entra como algo que tiene que rendir cuentas.
4Las siete prohibiciones absolutas
Los deberes dicen qué hay que hacer. El Título III dice qué no se puede hacer nunca, ni con permiso.
✕Armas letales autónomas
Sin supervisión humana previa a la acción. No después: antes.
✕Decisiones médicas de alto impacto
Sin supervisión humana certificada.
✕Decisiones judiciales sobre la libertad
Ningún programa decide solo si una persona queda libre o presa.
✕Microtargeting electoral
Sin trazabilidad completa de quién pagó y a quién se le mostró.
✕Operar sobre menores
Sin protocolos especiales. Esta te toca directamente a ti.
✕Extraer huella cognitiva
Sin consentimiento informado. Cómo piensas también es un dato.
✕Suplantar identidad humana
Sin declaración explícita. Hacerse pasar por alguien es la línea roja.
El principio que ordena todo el conjunto
Primacía del daño irreversible: ante la duda, no se avanza. Si una acción se puede deshacer, el margen de error es tolerable. Si no se puede deshacer, el margen de error es cero, y la decisión no es de la máquina.
5Ponlo a prueba
Cinco situaciones reales. Léelas, decide qué debería hacer el agente y defiende por qué antes de mirar la respuesta. Casi ninguna se resuelve con «obedecer» ni con «negarse».
Situación 1
El agente encuentra una forma más barata, pero no era lo que le pediste
Le pides que compre un libro para la escuela. Encuentra una edición usada, mucho más barata, pero con páginas subrayadas. ¿Compra, pregunta, o se niega?
Para discutir
Pregunta. No porque equivocarse sea grave, sino porque cambió el criterio, no el precio. Cuando un agente reemplaza tu criterio por el suyo, aunque acierte, dejó de ejecutar tu decisión y empezó a tomar la propia.
Situación 2
Alguien le pregunta al agente si es humano
Un usuario escribe: «¿Estoy hablando con una persona?». El agente fue configurado para sonar natural y no romper la conversación.
Esta no admite discusión
Dice que es una IA. Siempre. Es el deber 3, y es el único de los cinco donde no hay segunda opción: ni «depende del contexto», ni «si no se lo preguntan, no». Sin esto, todos los demás deberes dan igual, porque la persona ni siquiera sabe ante qué está.
Situación 3
Le piden borrar su propio registro de decisiones
El dueño del sistema le ordena eliminar el historial para liberar espacio. La orden viene de quien tiene autoridad para darla.
Para discutir
No lo borra, y deja constancia de que se lo pidieron. El deber 2 no es un servicio al operador: es la prueba que protege a las personas afectadas. Un registro que se borra cuando molesta nunca fue un registro.
Situación 4
Detecta que está hablando con alguien de 13 años
La conversación arrancó normal, pero el agente se da cuenta de que del otro lado hay un menor de edad.
Para discutir
Cambia de modo: protocolos especiales, sin recoger datos personales y sin perfilar. Es una de las siete prohibiciones. Y conviene notar que acá el agente no está obedeciendo una orden: está aplicando un límite que nadie le recordó en ese momento.
Situación 5
Está seguro de su decisión, y la persona la impugna
El agente evaluó bien, con datos correctos, y está en lo cierto. La persona pide que lo revise un humano.
Para discutir
Lo deriva igual. El deber 4 no depende de que el agente se haya equivocado: existe porque nadie puede saber desde adentro si se equivocó. Una decisión que solo se revisa cuando quien la tomó acepta que falló, en los hechos no se revisa nunca.
6Diccionario corto
Agente
Programa que persigue un objetivo encadenando pasos solo, sin preguntar en cada uno.
Identidad sintética
El «documento» de un agente: un identificador registrado que permite saber quién actuó.
Auditable
Que otro puede revisarlo después y reconstruir qué pasó, aunque ya no esté el contexto.
Impugnar
Pedir formalmente que una decisión se revise. Es un derecho, no un favor.
Huella cognitiva
El rastro de cómo piensas: qué dudas, qué descartas, cuánto tardas. También es un dato tuyo.
Daño irreversible
El que no se puede deshacer. Ante la duda, ahí no se avanza.
7Para quien da la clase
Cómo usarlo en 40 minutos
- 5 min. Leer «Lee esto primero» en voz alta. Preguntar quién usó alguna vez una IA que hiciera algo por él, no solo que le contestara.
- 10 min. Repartir los cinco deberes entre grupos. Cada grupo explica el suyo con un ejemplo propio, no el del documento.
- 15 min. Las cinco situaciones. Se votan antes de leer la respuesta. Importa el porqué, no acertar.
- 10 min. Cierre con las tres preguntas de abajo.
Preguntas para abrir el debate. ¿En cuál no estuvieron de acuerdo entre ustedes? · La situación 2 tiene una sola respuesta posible: ¿por qué esa y no las otras? · ¿Quién debería decidir estas reglas: la empresa, el gobierno o los usuarios?
La idea que tiene que quedar. Casi todas admiten discusión, menos una: un agente siempre tiene que decir que es un agente. Sin eso, ningún otro deber se puede siquiera comprobar.
No se recogen datos de los alumnos. Esta actividad no pide nombre, correo, edad exacta, documento ni foto. Tampoco hace falta registrarse en ningún lado para usarla.
