MIT Review: Los Puntos de Referencia de IA Están Rotos, Necesitan Reemplazo

La práctica estándar de evaluar la inteligencia artificial enfrentándola a los humanos en tareas específicas es fundamentalmente defectuosa y necesita ser reemplazada. Una crítica convincente argumenta que los puntos de referencia actuales, que a menudo preguntan '¿Puede la IA hacer esta tarea humana?', crean una imagen simplista y engañosa de la inteligencia y el impacto en el mundo real. Estas métricas tradicionales no logran capturar cómo los sistemas de IA se integran realmente en los flujos de trabajo humanos, sus efectos económicos y sociales más amplios, o su capacidad para una colaboración significativa. Obtener una buena puntuación en una prueba específica no se traduce en ser un socio útil, confiable o ético en un entorno profesional. El llamado es para nuevos marcos de evaluación que vayan más allá de la finalización de tareas. Los futuros puntos de referencia deberían medir la capacidad de una IA para aumentar los equipos humanos, adaptarse a entornos dinámicos, explicar su razonamiento y contribuir positivamente a procesos complejos. El objetivo es evaluar la inteligencia no de forma aislada, sino en contexto: evaluar cómo funcionan los sistemas de IA como componentes dentro de sistemas más grandes de humanos y máquinas para impulsar resultados tangibles y positivos.