JetBrains 推出 Mellum2：120 億參數 MoE 模型

JetBrains 已推出 Mellum2，這是一個擁有 120 億參數的混合專家（MoE）模型，專為企業與開發者應用提供高效且可擴展的 AI 性能。此次發布標誌著在讓強大 AI 更易於取得的同時，優化運算資源方面邁出了重要一步。 混合專家架構是 Mellum2 效率的關鍵。與傳統密集模型對每個輸入都啟動所有參數不同，MoE 模型會針對每項任務選擇性地僅啟動最相關的「專家」子網路。這意味著 Mellum2 能夠在顯著減少運算能力和記憶體使用量的情況下，達到與更大模型相當的性能。 憑藉總計 120 億個參數，Mellum2 在能力與效率之間取得了平衡。它足夠大以處理複雜任務，如程式碼生成、自然語言理解和數據分析，同時又經過優化，能夠在比許多競爭對手模型更普通的硬體上運行。這使得它對於希望在無需巨額基礎設施投資的情況下部署 AI 的組織特別具有吸引力。 主要以 IntelliJ IDEA 和 PyCharm 等開發者工具聞名的 JetBrains，正將 Mellum2 定位為其以開發者為中心的生態系統的自然延伸。該模型旨在與 JetBrains IDE 無縫整合，直接在開發環境中提供智慧程式碼補全、錯誤檢測和文件生成。 對於企業應用，Mellum2 在基準測試中提供強勁性能，同時保持成本效益。MoE 架構允許組織擴展 AI 使用量，而無需按比例增加運算成本，使其適用於高吞吐量的生產部署。 Mellum2 的推出反映了業界朝向更高效 AI 架構的整體趨勢。隨著單純擴大模型規模的局限性日益明顯，混合專家等方法為在不指數級增加成本的情況下獲得更好性能提供了途徑。