ngrok 是一个统一平台，负责路由、保护和管控流向任意大语言模型（LLM）的流量，无论模型是部署在云端还是本地。它还提供用量监控、成本优化，并确保 AI 产品持续在线。

ngrok 对 AI 产品有什么帮助？

ngrok 能安全地将本地 LLM 暴露到公网，管理流向云端 LLM 的流量，监控用量，优化成本，并确保 AI 应用的高可用性。

ngrok 能同时支持云端和本地 LLM 吗？

可以。ngrok 支持将流量路由到任何 LLM，无论它部署在云端还是本地运行，都能作为统一平台处理这两种场景。

ngrok 提供用量监控功能吗？

提供。ngrok 内置用量监控功能，你可以跟踪流量、请求数等指标，从而有效了解和管理 LLM 的使用情况。

ngrok 如何帮助优化成本？

ngrok 通过提供用量模式洞察，帮助你控制流量，并可能减少运行 LLM 带来的不必要开支，从而实现成本优化。

ngrok 适合用来保持 AI 产品在线吗？

适合。ngrok 专为保持 AI 产品在线而设计，它管理流量、确保可靠连接，并提供维护应用正常运行时间的功能。

ngrok - AI API服务工具 - 免费试用、价格介绍、性能评测、官网访问与在线体验

ngrok 是什么？

ngrok 是一个统一的 AI 网关，负责将流量路由、加密和管理到任意大语言模型（LLM）——无论是 OpenAI、Anthropic 这样的公有云厂商，还是自定义端点，或是你本地自托管的模型。用户只需连接到一个托管的网关 URL，替换 API 密钥，无需部署任何基础设施即可开始路由请求。该平台将可观测性、访问控制和成本追踪整合为一项服务，让团队可以从一个中心点管理每一次模型调用。它专为那些想摆脱多个供应商密钥和端点、改用统一接口的开发者而设计。

Application scenarios

多供应商路由
将请求发送到 GPT 或 Claude 等公有模型，如果某个模型失败或变慢，则自动切换到备选方案。
自托管模型访问
私密连接本地 LLM，无需暴露公网 IP 或开放入站端口。
成本监控
追踪每次调用的 token、延迟和错误，精确了解哪个应用、开发者或模型在推高支出。
密钥整合
在一个地方管理 OpenAI、Anthropic 或自定义供应商密钥，同时保留现有费率。
按应用访问控制
为每个应用或开发者签发独立的作用域密钥，限制他们可以调用的供应商和模型。
弹性生产流量
自动将失败或缓慢的请求重新路由到健康的备选方案，让用户完全感知不到故障。

主要特性

单一网关 URL： 将 baseURL 改为 https://gateway.ngrok.ai 并替换 API 密钥——无需其他代码改动。
SDK 兼容性： 开箱即用，支持 OpenAI SDK、Anthropic SDK 和 Vercel AI SDK。
本地 LLM 路由： 通过私有连接访问自托管模型，让流量避开公网。
自带密钥（BYOK）： 直接使用现有供应商密钥进行路由，费用直接付给供应商，保留当前费率。
作用域访问密钥： 为每个应用或开发者分配独立密钥，权限仅限特定供应商和模型。
统一可观测性： 汇总每次调用的 token、延迟和错误，供应商仪表盘显示每个应用或开发者的支出。
自动重路由： 当某个模型或密钥变慢或失败时，请求自动切换到已定义的健康备选方案——用户完全无感。
内置重试： 失败的请求会立即重试，应用无需自定义错误处理代码即可持续运行。
完全可编程： 整个网关可通过 API 配置，支持编码代理、Terraform、CLI 或自定义工具。

目标用户

ngrok 面向构建 AI 驱动产品的开发者和工程团队，他们需要管理多个模型供应商，但不想背负基础设施负担。它适合需要集中式访问控制和可观测性的平台工程师，也适合既要保持自托管模型私密、又要访问公有供应商的初创公司。已经付费使用 OpenAI 或 Anthropic 密钥的团队，可以通过 BYOK 保留现有费率，同时获得统一管理层。对于希望通过 Terraform 或 CLI 自动化网关配置的 DevOps 团队来说，它同样实用。

如何使用 ngrok？

首先在 ngrok 官网注册，获取 AI 访问密钥。然后将现有 SDK 的 baseURL 改为 https://gateway.ngrok.ai，并把 API 密钥替换为 ngrok 的密钥——无需其他代码改动。如果你使用自托管模型，通过私有连接将它们接入网关，无需公网 IP 即可访问。可选地，你可以自带供应商密钥，通过现有账户路由流量，并为每个应用或开发者设置作用域密钥来控制访问。对于高级配置，可以通过 API、Terraform 或 CLI 以编程方式配置网关。完整文档可在官网查看。

定价与免费试用

ngrok 按每百万 token 0.05 美元的固定费率收取路由、可观测性及其他网关功能的费用，外加推理成本。如果你使用 ngrok 自带的密钥，推理按成本价转付；如果自带密钥，则由你的供应商直接向你收费。你需要预先购买额度，ngrok 按路由用量扣减——没有订阅，也没有长期承诺。官网未提及免费试用或免费套餐。

效果评价

ngrok 的核心价值主张就是简单：一个 URL、一个密钥，所有模型都在一个网关后面。重路由和重试功能在生产环境确实实用，尤其是模型故障或变慢是真实风险的场景。BYOK 模式是个聪明设计——团队既能保留现有供应商定价，又能获得集中管理。按 token 计费的固定费率透明可预测，适合波动负载。不过，这个平台的实用性取决于它支持多少供应商，以及网关在负载下的稳定性如何——这些官网并未详细说明。对于厌倦了拼接多个 SDK 和密钥的团队，ngrok 提供了一个干净、低摩擦的替代方案，值得一试。

ngrok