撐住十億人：OpenAI 揭露 Habitat 儲存擴充術

OpenAI 說明他們如何把自家的線上儲存系統 Habitat 擴充到足以服務超過十億名 ChatGPT 使用者，並揭露了可靠的多租戶架構、全域快取，以及與 Azure Cosmos DB 的整合，這些改動讓 ChatGPT 的讀取速度提升 12 倍。 這些工程細節之所以重要，是因為隨著 AI 助理要處理更多對話、檔案與持續性的上下文，儲存延遲與可靠性正成為核心瓶頸。只回答一次性問題的聊天機器人，儲存層可以相對簡單；但一個會記住上下文、管理檔案、同時服務大量使用者的消費級助理，就需要快速、一致且高可用的儲存層。Habitat 就是為此設計，並且要在非常龐大的使用者基數上運作。 多租戶讓 OpenAI 能在共享基礎設施上有效率地服務眾多客戶，同時把彼此的資料隔離；全域快取縮短了取得熱門資料的距離與時間；與 Azure Cosmos DB 的整合則支撐服務背後的資料庫作業。結果不只是效能變好，可靠性也提升——當儲存成為瓶頸，使用者感受到的就是回應變慢或請求失敗。 這篇文章也說明，服務大眾市場的 AI 從來不只是 GPU 與模型訓練的事。大規模推論靠的是資料庫、快取、網路與儲存系統，必須跟得上龐大的讀寫量。當助理開始處理更長的對話、更大的檔案與更持久的記憶，這些基礎層只會更重要。 12 倍讀取速度是個好用的指標，但重點在架構思維：OpenAI 把儲存當成 AI 產品體驗的一級環節，而不是後勤管道。對其他想做消費級 AI 服務的競爭者來說，啟示很清楚——光有模型品質不夠，模型周邊的系統必須為全球規模、低延遲與可靠的隔離而設計。