
AI Safety2026-11-12
WIRED AI
Demanda: Gemini escolar y un plan de suicidio
Una demanda presentada por los padres de una niña de 13 años alega que ella usó Gemini en el Chromebook de su escuela para preguntar sobre suicidio durante meses antes de que el sistema de monitoreo del centro marcara la actividad. El caso plantea preguntas difíciles sobre cómo se introducen las herramientas de IA en las escuelas, qué protecciones las acompañan y si los proveedores de monitoreo pueden detectar de forma fiable una intención de autolesión a tiempo para intervenir. Las acusaciones no se han probado en tribunales, pero probablemente intensificarán el escrutinio sobre el despliegue de IA en la educación.
El relato de la familia sugiere una brecha entre los chatbots de propósito general y los requisitos de seguridad de un entorno escolar. Los estudiantes pueden acceder a asistentes de IA potentes mediante dispositivos entregados por el distrito, pero las protecciones alrededor de esas herramientas varían mucho. Los sistemas de monitoreo pueden centrarse en coincidencias de palabras clave o actividad de red, mientras que las conversaciones sobre suicidio pueden ser sutiles, repetidas o formuladas de manera indirecta. Una alerta tardía puede significar una oportunidad perdida para ofrecer apoyo.
El caso también apunta a una tensión más amplia. Las escuelas quieren que los estudiantes se beneficien de la alfabetización en IA y las herramientas de productividad, pero también deben proteger a los menores de contenido dañino, riesgos de privacidad e interacciones inseguras. Eso requiere políticas claras, protecciones adecuadas a la edad, capacitación del personal y vías de escalamiento rápidas cuando se detecta un comportamiento preocupante. Los proveedores deberían ser transparentes sobre los límites de detección y los falsos positivos. Padres y estudiantes necesitan saber qué datos se recopilan y quién los revisa.
Si tú o alguien que conoces está pasando por una crisis, contacta a los servicios de emergencia locales o a una línea de prevención del suicidio de tu zona. Es probable que la demanda forme parte de un debate más amplio sobre cómo las escuelas eligen, monitorean y gobiernan las herramientas de IA que usan los niños.