Alucinación de IA casi desata una operación militar de EEUU

Una alucinación de inteligencia artificial habría estado cerca de desencadenar una operación militar de Estados Unidos, según TechCrunch, dejando al descubierto los riesgos graves de poner modelos de lenguaje grandes en cadenas de decisión de alto riesgo. El episodio involucró a un sistema de IA que produjo una salida incorrecta o inventada y que fue tratada con más confianza de la que merecía, antes de que la revisión humana la frenara. Un investigador de GovAI advirtió que los militares y el personal de defensa deben entender que los LLM generan texto probabilístico, no inteligencia verificada. Estos sistemas pueden sonar muy seguros de sí mismos mientras están equivocados, lo que es especialmente peligroso cuando el costo del error incluye escalada, bajas o guerra. El incidente se suma a una lista creciente de ejemplos aleccionadores sobre la adopción militar de la IA. Los modelos de lenguaje grandes se usan cada vez más para análisis, resúmenes, apoyo a la planificación y automatización de flujos de trabajo, porque procesan grandes volúmenes de información no estructurada muy rápido. Pero también alucinan, se alejan del material fuente y no señalan su incertidumbre de la forma en que un operador humano esperaría. En el ámbito civil, esos fallos pueden causar vergüenza o pérdidas económicas. En el militar, pueden generar confusión operativa o empujar a los responsables de decidir hacia una respuesta basada en premisas falsas. Gobiernos y agencias de defensa han estado experimentando con IA para logística, ciberseguridad, clasificación de inteligencia y tareas administrativas. El casi-accidente muestra por qué el despliegue necesita salvaguardas estrictas: verificación humana, indicadores de incertidumbre, registros de auditoría, pruebas de red team y límites claros sobre dónde la salida de la IA puede informar directamente una acción. También plantea preguntas de formación. Los operadores deben saber no solo qué pueden hacer los LLM, sino dónde fallan y por qué. La advertencia del investigador sugiere que los benchmarks técnicos por sí solos no bastan; las instituciones deben construir una cultura de escepticismo y responsabilidad en torno a las herramientas de IA. A medida que las capacidades de la IA mejoren, la presión para adoptarlas en defensa solo va a crecer. La lección de este incidente no es que la IA no tenga uso militar, sino que las salidas sin verificar no pueden tratarse como hechos. En entornos de alto riesgo, la velocidad debe equilibrarse con la confianza, y la confianza hay que ganarla con verificación.