OpenAI instruye a Codex para evitar duendes

En un movimiento que resalta los peculiares desafíos de entrenar sistemas de IA, OpenAI ha dado, según se informa, a su agente de codificación Codex instrucciones explícitas para evitar discutir temas como duendes, trasgos y otras criaturas míticas a menos que sea absolutamente necesario. La directiva, enterrada en lo profundo de las pautas de seguridad del modelo, está diseñada para evitar que la IA genere salidas fuera de tema o que distraigan cuando los usuarios se centran en tareas de codificación. Si bien la instrucción puede parecer divertida a primera vista, refleja un desafío serio en el desarrollo de la IA: mantener el enfoque y la relevancia en los modelos generativos. Codex, que impulsa herramientas como GitHub Copilot, se entrena en vastas cantidades de código público y texto, incluidos foros, documentación e incluso literatura fantástica. Sin barreras de protección cuidadosas, el modelo a veces puede derivar hacia territorios inesperados, produciendo respuestas que son técnicamente correctas pero contextualmente inapropiadas. La directiva sobre "duendes" es parte de un conjunto más amplio de pautas de seguridad que buscan mantener a Codex en la tarea. Estas incluyen restricciones sobre la generación de código que podría usarse con fines maliciosos, evitar opiniones personales y alejarse de temas no relacionados con la programación. La mención específica de duendes y trasgos probablemente se deriva de casos observados en los que el modelo, cuando se le solicitaba con consultas ambiguas o abiertas, recurría a generar respuestas fantásticas o humorísticas en lugar de soluciones de código prácticas. El enfoque de OpenAI para ajustar estos límites es un acto de equilibrio delicado. Demasiadas restricciones pueden hacer que el modelo sea rígido y menos útil, mientras que muy pocas pueden generar salidas impredecibles o incluso dañinas. La empresa ha invertido mucho en aprendizaje por refuerzo a partir de la retroalimentación humana para refinar el comportamiento de Codex, pero los casos extremos, como una referencia inesperada a duendes, continúan surgiendo. Para los desarrolladores que usan Codex, la instrucción es en gran medida invisible. El modelo simplemente ignora las consultas sobre criaturas míticas a menos que estén directamente relacionadas.