ngrok AI Gateway

ngrok AI Gateway 是一款托管式平台，旨在集中管理公共 AI 供应商、自定义端点以及私有化部署的模型。 该平台作为企业级 AI 网关，为开发者提供统一的界面，将通常需要多次集成的复杂基础设施进行整合。 基于“一个网关，所有模型”的原则，团队可以通过统一 AI API 与各种大语言模型（LLM）进行交互，降低了管理不同供应商需求和身份验证方式的技术开销。

通过 AI 网关实现统一的模型路由与管理

集中式的 LLM 路由管理允许开发者在不同的供应商或模型之间切换，而无需对代码进行大规模修改。 ngrok AI Gateway 采用“一个 URL，适配任何 SDK”的方案，用户只需将 baseURL 更改为指定的 ngrok 端点并更新 API 密钥，即可开始路由流量。 这种配置方式与 OpenAI SDK、Anthropic SDK 以及 Vercel AI SDK 保持兼容。

通过自带密钥（BYOK）功能，企业可以使用其在 OpenAI 和 Anthropic 等供应商处现有的凭据。 这有助于了用户在统一管理密钥的同时，能够维持与供应商的直接关系及既定费率。 该网关作为一个可编程层，支持通过 API、Terraform、ngrok CLI 或其他自定义工具进行配置，使其能够适应现有的 DevOps 工作流，实现高效的多模型集成。

私有化大模型连接与安全访问

对于运行自有基础设施的组织，该网关提供了专门的私有化大模型连接功能。 此功能允许用户连接到网关可触达的本地 LLM，而无需配置公网 IP 地址或开放入站端口。 通过维持私有连接，网关能够以处理公共供应商的相同路由逻辑来处理私有化部署的模型。

这种能力适用于需要将本地 LLM 连接到公共应用程序，同时又必须遵守严格网络要求的团队。 网关负责处理底层连接，有助于内部模型在对授权应用程序保持可见的同时，屏蔽来自公网的直接访问，从而在统一接口下实现安全连接。

AI 接口可观测性与用量追踪

管理 AI 基础设施需要对模型的利用情况有详细的洞察。 ngrok AI Gateway 内置了 AI 接口可观测性功能，用于追踪通常分散在不同供应商控制台中的性能指标。 它能够监测每一次路由调用的 Token 使用量、延迟和错误率。

这些分析数据经过汇总，可以清晰地展示特定应用程序、个人开发者或特定模型的使用模式。 该网关提供整个 AI 技术栈的性能与消耗视图，而不必依赖无法区分内部项目的供应商特定仪表板，为基础设施管理提供了数据支持。

自动故障转移与访问权限控制

为了维持应用程序的运行时间，该网关包含了自动故障转移和重试机制。 如果特定的模型或供应商密钥出现响应变慢或失效的情况，系统可以在用户察觉前将请求重定向至预定义的健康备选方案。 此外，网关会对失败的请求执行即时重试，使应用程序无需在代码中编写复杂的手动错误处理逻辑即可持续运行。

安全性通过细粒度的访问权限控制进行管理。 管理员可以为不同的开发者或应用程序颁发独立的访问密钥，并设置具体的权限。 这些权限精确定义了特定密钥有权调用的供应商和模型，避免了在组织内部共享主 API 密钥的需求。 这种结构有助于了访问权限被严格限制在特定任务或环境所需的资源范围内。

常见问题

如何将 ngrok AI 网关集成到我现有的 AI 应用程序中？

您可以通过将 baseURL 更改为 https://gateway.ngrok.ai 并更换 API 密钥来进行集成。它兼容 OpenAI SDK、Anthropic SDK 和 Vercel AI SDK。

我可以使用 ngrok AI 网关运行我自己的模型吗？

可以，您可以路由到 AI 网关可访问的任何本地 LLM。它使用私有连接，因此您无需管理公共 IP 或入站端口。

网关如何处理模型故障或错误？

如果模型或密钥发生故障，网关会自动将请求重新路由到已定义的健康替代方案。它还会对失败的请求执行即时重试，以便应用程序可以在无需代码中手动处理错误的情况下继续运行。

我该如何控制哪些开发人员或应用程序有权访问特定模型？

您可以为每个开发人员或应用程序颁发单独的访问密钥，并配置每个密钥允许调用的特定提供商和模型。

ngrok AI 网关有什么功能？

统一 AI 网关：一个托管网关，将公共提供商、自定义端点和自托管模型整合到一个具有内置可观测性和访问控制的单一界面中。私有本地 LLM 连接：连接到自托管模型而无需公共 IP 或入站端口，保持私有连接。密钥管理 (BYOK)：允许用户使用来自 OpenAI 和 Anthropic 等提供商的自有 API 密钥，并在一个地方进行管理。范围访问控制：为不同的应用程序或开发人员提供单独的访问密钥，并具有限制访问特定提供商和模型的权限。自动故障转移和重试：如果模型或密钥发生故障，自动将请求重新路由到健康的替代方案，并在无需更改代码的情况下执行即时重试。统一可观测性：跟踪所有路由调用中的令牌、延迟和错误，提供按应用程序、开发人员或模型的使用情况可见性。