ngrok 是一個統一的平台，能將流量路由、保護並管理到任何 LLM，無論是部署在雲端還是本機端。它也提供使用監控、成本最佳化，並確保 AI 產品持續在線。

ngrok 對 AI 產品有什麼幫助？

ngrok 能安全地將本機 LLM 暴露到網際網路、管理流向雲端 LLM 的流量、監控使用情況、最佳化成本，並確保 AI 應用程式的高可用性。

ngrok 可以同時支援雲端和本機的 LLM 嗎？

可以。ngrok 支援將流量路由到任何 LLM，無論是部署在雲端還是本機執行，都能在單一平台上涵蓋這兩種情境。

ngrok 有提供使用監控功能嗎？

有。ngrok 包含使用監控功能，讓你能追蹤流量、請求和其他指標，以便有效了解和管理你的 LLM 使用情況。

ngrok 如何協助成本最佳化？

ngrok 透過提供使用模式的分析、讓你控制流量，並可能減少執行 LLM 時不必要的開支，來協助最佳化成本。

ngrok 適合用來保持 AI 產品在線嗎？

適合。ngrok 的設計就是為了讓 AI 產品保持上線，透過管理流量、確保連線可靠，並提供維持應用程式正常運作時間的功能。

ngrok - AI API 服務工具 - 免費試用、價格介紹、效能評測、官網訪問與線上體驗

ngrok 是什麼？

ngrok 是一個統一的 AI 閘道（AI Gateway），負責將流量路由、加密保護並集中管理到任何 LLM——無論是 OpenAI、Anthropic 這類公開供應商、自訂端點，還是你自行架設在本地端的模型。使用者只需連到單一託管閘道網址、換掉 API 金鑰，就能立刻開始路由請求，完全不需要部署任何基礎設施。這個平台把可觀測性（observability）、存取控制和成本追蹤整合成單一服務，讓團隊可以從一個中央控制點管理每一次模型呼叫。它的設計對象是那些不想再同時應付多家供應商金鑰與端點、希望改用單一一致介面的開發者。

Application scenarios

多供應商路由
將請求送給 GPT 或 Claude 這類公開模型，若某一家出錯或變慢，自動切換到備援方案。
自架模型存取
透過私有連線存取本地 LLM，不需要暴露公開 IP 或開啟對外連接埠。
成本監控
追蹤每一次呼叫的 token 數、延遲與錯誤，精確看出哪個應用程式、開發者或模型在驅動花費。
金鑰整合
在單一介面管理 OpenAI、Anthropic 或自訂供應商的金鑰，同時保留既有費率。
依應用程式控管存取
為每個應用程式或開發者發放各自獨立的範圍金鑰，限制他們能呼叫的供應商與模型。
高韌性的正式環境流量
自動將失敗或變慢的請求重新導向到健康的備援方案，使用者完全不會感受到服務中斷。

Core Features

單一閘道網址
把 baseURL 改成 `https://gateway.ngrok.ai`、換掉 API 金鑰即可，不需要改任何其他程式碼。
SDK 相容性
開箱即用，支援 OpenAI SDK、Anthropic SDK 與 Vercel AI SDK。
本地 LLM 路由
透過私有連線存取自架模型，讓流量不經過公開網路。
自帶金鑰（BYOK）
直接放入既有供應商金鑰，透過原帳戶路由、直接向供應商付費，並保留目前費率。
範圍金鑰（Scoped Access Keys）
為每個應用程式或開發者發放獨立金鑰，權限僅限於指定的供應商與模型。
統一可觀測性
彙總每一次呼叫的 token、延遲與錯誤，供應商儀表板可顯示每個應用程式或開發者的花費。
自動重新路由
當某個模型或金鑰變慢或出錯時，請求自動切換到你定義的健康備援方案——使用者完全無感。
內建重試機制
失敗請求會立即重試，應用程式不需要自訂錯誤處理程式碼就能持續運作。
完全可程式化
整個閘道都可以透過 API 設定，可從 coding agent、Terraform、CLI 或自訂工具呼叫使用。

目標使用者

ngrok 鎖定的是正在打造 AI 產品的開發者與工程團隊，尤其是需要管理多家模型供應商、卻不想背負基礎設施包袱的人。它適合想要集中化存取控制與可觀測性的平台工程師，也適合需要讓自架模型保持私有、同時仍能存取公開供應商的新創團隊。已經在付費使用 OpenAI 或 Anthropic 金鑰的團隊，可以透過 BYOK 維持既有費率，同時獲得單一管理層。對於想用 Terraform 或 CLI 自動化閘道設定的 DevOps 團隊來說，也非常實用。

如何使用 ngrok？

先在 ngrok 官網註冊並取得 AI 存取金鑰。接著把既有 SDK 的 baseURL 改成 https://gateway.ngrok.ai，再把 API 金鑰換成 ngrok 的金鑰——不需要改其他程式碼。如果你使用自架模型，透過私有連線把它們接上，讓閘道可以存取，但不需要公開 IP。你也可以選擇帶入自己的供應商金鑰，走既有帳戶路由；並可為每個應用程式或開發者設定範圍金鑰來控管存取。進階用法則可透過 API、Terraform 或 CLI 以程式化方式設定閘道。完整文件請見官方網站。

定價與免費試用

ngrok 針對路由、可觀測性及其他閘道功能，收取固定費率 每百萬 token 0.05 美元，另外再加上你的推論（inference）成本。如果你使用 ngrok 自有的金鑰，推論成本以原價轉嫁；如果你自帶金鑰，則由你的供應商直接向你收費。你預先購買額度（credits），ngrok 依照實際路由用量扣款——沒有月費訂閱，也沒有長期合約。官方網站並未提及免費試用或免費方案。

效果評價

ngrok 的核心價值主張就是簡單：一個網址、一把金鑰，所有模型都在單一閘道後面。重新路由與重試功能在正式環境中確實實用，尤其是模型 outage 或變慢是實際風險的時候。BYOK 模式是很聰明的設計——讓團隊保留既有供應商定價，同時獲得集中化管理。按 token 計費的固定費率透明且可預測，適合流量波動大的工作負載。不過，這個平台的實用程度取決於它支援多少家供應商，以及閘道在高負載下的穩定度——而官方網站對這兩點都沒有詳細說明。對於厭倦了同時接多套 SDK 與多把金鑰的團隊來說，ngrok 提供了一個乾淨、低摩擦的替代方案，值得一試。

ngrok