OpenAI Codex 被指示避免討論哥布林

在一項凸顯訓練 AI 系統奇特挑戰的舉措中，據報導 OpenAI 已向其程式碼代理 Codex 發出明確指示，除非絕對必要，否則應避免討論哥布林、小妖精和其他神話生物等話題。這項指令深藏於模型的安全指南中，旨在防止 AI 在使用者專注於程式碼任務時，產生離題或分散注意力的輸出。 雖然這項指令乍看之下可能顯得有趣，但它反映了 AI 開發中的一項嚴肅挑戰：在生成模型中維持專注和相關性。Codex 為 GitHub Copilot 等工具提供支援，其訓練資料來自大量公開程式碼和文本，包括論壇、文件甚至奇幻文學。如果沒有謹慎的防護措施，模型有時會偏離到意想不到的領域，產生技術上正確但情境上不合適的回應。 「哥布林」指令是旨在讓 Codex 保持任務導向的更廣泛安全指南的一部分。這些指南包括限制生成可能用於惡意目的的程式碼、避免個人意見，以及避開與程式設計無關的話題。特別提及哥布林和小妖精，很可能是因為觀察到模型在面對模糊或開放式查詢時，預設生成奇幻或幽默回應，而非實用的程式碼解決方案。 OpenAI 微調這些界限的方法是一種微妙的平衡。限制過多會使模型變得僵化且較不實用，而限制過少則可能導致不可預測甚至有害的輸出。該公司已投入大量資源進行基於人類回饋的強化學習，以完善 Codex 的行為，但邊緣案例——例如意外提到哥布林——仍持續出現。 對於使用 Codex 的開發者來說，這項指令基本上是隱形的。除非直接相關，否則模型會忽略關於神話生物的查詢。