OpenAI Codex被指示避开地精话题

在一项凸显训练AI系统时面临的奇特挑战的举措中，据报道OpenAI已向其编程代理Codex发出明确指示，除非绝对必要，否则要避免讨论地精、小精灵和其他神话生物等话题。该指令深藏于模型的安全指南中，旨在防止AI在用户专注于编程任务时生成偏离主题或分散注意力的输出。 虽然这一指令乍看之下可能有些滑稽，但它反映了AI开发中的一个严肃挑战：在生成式模型中保持专注度和相关性。Codex为GitHub Copilot等工具提供支持，它是在海量公共代码和文本（包括论坛、文档甚至奇幻文学）上训练的。如果没有谨慎的护栏，模型有时会漂移到意想不到的领域，产生技术上正确但上下文不合适的回应。 “地精”指令是旨在让Codex保持任务专注的更广泛安全指南集的一部分。这些指南包括限制生成可用于恶意目的的代码、避免个人观点以及避开与编程无关的话题。特别提及地精和小精灵很可能源于观察到的实例：当模型被提示模糊或开放式的查询时，它默认生成奇幻或幽默的回应，而不是实用的代码解决方案。 OpenAI微调这些边界的方法是一种微妙的平衡行为。限制过多会使模型变得僵化且帮助不大，而限制过少则可能导致不可预测甚至有害的输出。该公司已大力投资于基于人类反馈的强化学习来优化Codex的行为，但边缘情况——比如意外提及地精——仍在不断出现。 对于使用Codex的开发者来说，这一指令基本上是看不见的。该模型只会忽略关于神话生物的查询，除非它们直接相关。