Perplexity AI presenta un sistema de inferencia híbrido local-nube

Perplexity AI ha presentado un innovador orquestador de inferencia híbrido local-servidor en Computex 2026, que promete cambiar fundamentalmente la forma en que se implementan las cargas de trabajo de IA. El sistema, al que la compañía llama "EdgeMind", decide de forma autónoma en tiempo real si ejecutar una tarea de IA en el dispositivo local del usuario o en la nube, optimizando el rendimiento, la privacidad y el costo. Esto supone un alejamiento significativo del paradigma actual, donde la inferencia de IA se realiza completamente en la nube (lo que requiere conectividad constante a Internet y plantea problemas de privacidad) o completamente en el dispositivo (limitado por las capacidades del hardware). EdgeMind evalúa dinámicamente cada solicitud, considerando factores como el tamaño del modelo, los requisitos de latencia, la sensibilidad de los datos y las condiciones actuales de la red. Por ejemplo, una consulta simple como resumir un documento local podría manejarse completamente en el portátil del usuario, garantizando privacidad y latencia cero. Una tarea compleja como generar una imagen de alta resolución o analizar un gran conjunto de datos se descargaría sin problemas a la nube, donde hay GPU más potentes disponibles. La transición es invisible para el usuario, que simplemente ve aparecer los resultados. "Creemos que el futuro de la IA no es solo en la nube o solo en el dispositivo, sino una asociación fluida entre ambos", dijo Aravind Srinivas, CEO de Perplexity AI, durante la conferencia magistral de Computex. "EdgeMind es el sistema operativo para esa asociación. Toma las decisiones difíciles para que los usuarios no tengan que hacerlo". El sistema está diseñado para funcionar con una amplia gama de modelos, desde pequeños modelos de lenguaje que pueden ejecutarse en un teléfono hasta modelos de frontera que requieren clústeres de centros de datos. Perplexity también ha lanzado un kit de desarrollo de software que permite a desarrolladores externos integrar EdgeMind en sus propias aplicaciones. Las demostraciones iniciales mostraron resultados impresionantes. En una prueba, un portátil que ejecutaba EdgeMind manejó el 70% de las consultas de IA localmente, reduciendo los costos de nube en un 60% mientras mantenía tiempos de respuesta por debajo de los 200 milisegundos. Las tareas sensibles a la privacidad, como procesar m