JetBrains、Mellum2を発表：120億パラメータのMoEモデル

JetBrainsは、エンタープライズおよび開発者向けアプリケーションに効率的でスケーラブルなAIパフォーマンスを提供するために設計された、120億パラメータのMixture-of-Experts（MoE）モデル「Mellum2」を発表しました。このリリースは、計算リソースを最適化しながら、強力なAIをより利用しやすくする上での重要な前進を示しています。 Mixture-of-Expertsアーキテクチャは、Mellum2の効率性の鍵です。すべての入力に対してすべてのパラメータを活性化する従来の高密度モデルとは異なり、MoEモデルは各タスクに最も関連性の高い「エキスパート」サブネットワークのみを選択的に活性化します。つまり、Mellum2は、はるかに大規模なモデルに匹敵するパフォーマンスを達成しながら、使用する計算能力とメモリを大幅に削減できます。 合計120億のパラメータを備えたMellum2は、能力と効率性のバランスを実現しています。コード生成、自然言語理解、データ分析などの複雑なタスクを処理できる十分な規模を持ちながら、多くの競合モデルよりも控えめなハードウェアで実行できるよう最適化されています。これにより、大規模なインフラ投資を行わずにAIを導入したい組織にとって特に魅力的です。 主にIntelliJ IDEAやPyCharmなどの開発者ツールで知られるJetBrainsは、Mellum2を開発者中心のエコシステムの自然な拡張として位置づけています。このモデルはJetBrains IDEとシームレスに統合するように設計されており、開発環境内でインテリジェントなコード補完、バグ検出、ドキュメント生成を直接提供します。 エンタープライズアプリケーション向けに、Mellum2はベンチマークで高いパフォーマンスを発揮しながら、コスト効率を維持します。MoEアーキテクチャにより、組織は計算コストに比例することなくAIの使用を拡大できるため、大量の本番環境での導入に適しています。 Mellum2の発表は、より効率的なAIアーキテクチャへの広範な業界トレンドを反映しています。モデルサイズを単純に拡大することの限界が明らかになるにつれて、mixture-of-expertsのようなアプローチは、指数関数的にコストを増加させることなく、より良いパフォーマンスへの道を提供します。