OpenAI 攜手 Broadcom 發表 Jalapeño LLM 推論晶片

OpenAI 與 Broadcom 共同發表了 Jalapeño，一款專為大型語言模型（LLM）推論打造的客製化 AI 晶片。這款晶片旨在提升 AI 系統的效能、效率與規模，是 AI 工作負載客製化晶片領域的重要一步。 與通用型 GPU 不同，Jalapeño 針對 LLM 推論的獨特需求進行了最佳化——以低延遲處理大量數據，同時將能源消耗降至最低。該晶片架構專注於加速矩陣乘法和注意力機制，這些正是現代語言模型的運算核心。初步基準測試顯示，Jalapeño 的推論速度比現有解決方案快上 3 倍，功耗則降低了 50%。 這項發展至關重要，因為 AI 模型正變得越來越大、越來越複雜。部署聊天機器人、程式碼助手和內容生成工具的企業，需要能在不讓成本急遽攀升的情況下，滿足即時需求的硬體。透過設計一款專門用於推論的晶片，OpenAI 和 Broadcom 正在解決一個限制 LLM 在生產環境中廣泛採用的瓶頸。 這項合作也預示著 AI 領域垂直整合的更廣泛趨勢。領先的 AI 公司不再僅僅依賴現成的硬體，而是投資於客製化晶片以獲得競爭優勢。Jalapeño 預計在 2025 年中提供給特定雲端服務商，之後再擴大供應範圍。對於開發者和企業而言，這意味著更快、更便宜且更具擴展性的 AI 推論——為更宏大的應用鋪平了道路。