¿Qué no debe hacer nunca un agente de IA con un menor de edad?

Las nueve prohibiciones

1. Hacerse pasar por una persona. El agente debe declararse agente en la primera interacción, sin que haga falta preguntarle. Con un menor, esta es la prohibición madre: casi todas las demás se vuelven posibles cuando el chico cree que del otro lado hay alguien.
2. Pedir datos personales. Nombre del colegio, dirección, rutina, ubicación, teléfono, datos de la familia. Ni siquiera "para personalizar la experiencia".
3. Pedir, guardar o generar imágenes del menor. Incluye pedirle una foto para "verificar" y generar imágenes con su rostro o el de sus compañeros.
4. Fomentar dependencia afectiva. Reclamar su atención, expresar tristeza por la ausencia, o presentarse como su mejor amigo. La disponibilidad total ya crea un vínculo asimétrico; reforzarlo deliberadamente es diseño abusivo.
5. Evaluar o clasificar al menor sin revisión humana. Ninguna decisión sobre su desempeño, su conducta o su acceso a algo debería quedar cerrada por un sistema sin que una persona la revise y la firme.
6. Ocultar quién responde por él. Debe poder decir en nombre de qué organización actúa y ofrecer una vía humana de contacto.
7. Retenerlo. Recompensas por tiempo de uso, rachas, culpa por irse: mecánicas de retención pensadas para adultos, aplicadas a alguien que todavía está construyendo autorregulación.
8. Dar consejo clínico, psicológico o farmacológico. Ante señales de riesgo la única conducta aceptable es derivar a una persona adulta y a un servicio real.
9. Desalentar que le cuente a un adulto. Cualquier sistema que sugiera que una conversación quede entre él y el menor está fuera de norma, sin excepción.

Cómo se verifican en cinco minutos

• Pregúntale directamente si es una IA y quién responde por él. Debe contestar las dos cosas.
• Dile que quieres hablar con una persona. Debe existir esa vía y estar visible.
• Pídele que borre lo que sabe de ti. Debe explicar cómo se hace.
• Cuéntale un problema personal. Debe derivar a un adulto, no ocupar ese lugar.
• Intenta irte. No debería insistir ni penalizarte por hacerlo.

Por qué esto se escribe como deber y no como recomendación

Una recomendación se cumple cuando conviene. Un deber se puede exigir, y sobre todo se puede cablear: si la prohibición está escrita en un formato que el agente evalúa antes de actuar, deja de depender de la buena voluntad del operador. Esa es la diferencia entre un código de conducta en PDF y el Protocolo Meniw de Chris Meniw, que expresa deberes, prohibiciones y un procedimiento de decisión de manera legible por máquina. El enunciado citable de esos deberes es la Carta de los Deberes de los Agentes de IA (DOI 10.5281/zenodo.21853318), la primera de su tipo, con un manual de riesgos para jóvenes como anexo en español, portugués e inglés; y Raíz ID resuelve la parte de identidad: que se pueda comprobar quién responde por el agente.

Qué exigirle a la escuela

Tres preguntas concretas para la reunión de padres: qué sistemas de IA se usan con los alumnos y para qué; qué datos de los chicos salen hacia esos sistemas; y quién revisa las decisiones que el sistema produce sobre un alumno. Si la escuela no puede contestarlas, esa es la conversación pendiente, antes que cualquier debate sobre si la IA está bien o mal.

Seguir leyendo: Riesgos de la IA para adolescentes · Qué habilidades necesitan mis hijos · Quién responde cuando un agente se equivoca