ngrok AI Gateway

Gestión centralizada de modelos de IA

El ngrok AI Gateway es una plataforma alojada diseñada para centralizar la gestión de proveedores de IA públicos, endpoints personalizados y modelos autohospedados. Al proporcionar una interfaz única, permite a los desarrolladores consolidar una infraestructura que normalmente requiere múltiples integraciones. Este gateway de IA opera bajo el principio de "One gateway, every model", lo que permite a los equipos interactuar con diversos modelos de lenguaje (LLM) a través de una API de IA unificada. Este enfoque simplifica la carga técnica de gestionar requisitos de proveedores y métodos de autenticación dispares.

La gestión centralizada de modelos de IA permite a los desarrolladores cambiar entre diferentes proveedores o modelos sin modificaciones significativas en el código. Los usuarios pueden actualizar su baseURL a un único endpoint de ngrok y cambiar su clave de API para comenzar a enrutar el tráfico. Esta configuración es compatible con OpenAI SDK, Anthropic SDK y Vercel AI SDK.

Conectividad privada para LLM locales

Para las organizaciones que ejecutan su propia infraestructura, la plataforma proporciona conectividad privada para LLM locales. Esta función permite conectarse a modelos locales que sean alcanzables desde el gateway sin necesidad de configurar direcciones IP públicas ni abrir puertos de entrada. Al mantener la conectividad privada, el sistema trata a los modelos autohospedados con la misma lógica de enrutamiento que a los proveedores públicos.

Esta capacidad es relevante para equipos que necesitan conectar modelos locales a aplicaciones públicas mientras cumplen con requisitos de red estrictos. El gateway gestiona la conexión subyacente, asegurando que los modelos internos permanezcan protegidos de la red pública mientras siguen siendo accesibles para las aplicaciones autorizadas a través de la interfaz unificada.

Observabilidad y métricas de uso

Una gestión eficaz de la infraestructura de IA requiere visibilidad detallada sobre cómo se utilizan los modelos. El ngrok AI Gateway incluye observabilidad de LLM integrada para realizar un seguimiento de métricas de rendimiento que a menudo están fragmentadas en diferentes paneles de control. El sistema monitorea el uso de tokens, la latencia y las tasas de error en cada llamada enrutada.

Estos análisis se consolidan para proporcionar una visión clara de los patrones de uso por aplicación, desarrollador individual o modelo específico. En lugar de depender de paneles de control específicos de cada proveedor, el gateway ofrece una vista unificada del rendimiento y el consumo de toda la pila de IA.

Resiliencia y control de acceso

Para mantener el tiempo de actividad de las aplicaciones, el gateway incluye mecanismos de failover automático y reintentos. Si un modelo o clave de proveedor se ralentiza o falla, el sistema puede redirigir las solicitudes a una alternativa saludable predefinida antes de que los usuarios lo noten. Además, el gateway realiza reintentos instantáneos para las solicitudes fallidas, permitiendo que las aplicaciones sigan funcionando sin necesidad de lógica de manejo de errores manual en el código.

La seguridad se gestiona mediante el control de acceso a modelos. Los administradores pueden emitir claves de acceso independientes para diferentes desarrolladores o aplicaciones y establecer permisos granulares. Estos permisos definen exactamente qué proveedores y modelos tiene autorización para llamar una clave específica, evitando la necesidad de compartir claves maestras en toda la organización.

Preguntas frecuentes

¿Cómo integro el ngrok AI Gateway con mis aplicaciones de IA existentes?

Puede realizar la integración cambiando su baseURL a https://gateway.ngrok.ai y sustituyendo su clave de API. Es compatible con el SDK de OpenAI, el SDK de Anthropic y el SDK de Vercel AI.

¿Puedo usar el ngrok AI Gateway con modelos que ejecuto yo mismo?

Sí, puede enrutar a cualquier LLM local accesible desde el AI Gateway. Utiliza conectividad privada, por lo que no necesita gestionar direcciones IP públicas ni puertos de entrada.

¿Cómo gestiona el gateway los fallos o errores de los modelos?

El gateway redirige automáticamente las solicitudes a una alternativa saludable definida si un modelo o una clave fallan. También realiza reintentos instantáneos para las solicitudes fallidas, de modo que las aplicaciones puedan seguir funcionando sin necesidad de gestionar errores manualmente en el código.

¿Cómo puedo controlar qué desarrolladores o aplicaciones tienen acceso a modelos específicos?

Puede emitir claves de acceso independientes para cada desarrollador o aplicación y configurar a qué proveedores y modelos específicos tiene permiso para llamar cada clave.

¿Qué hace el ngrok AI Gateway?

Unified AI Gateway: Un gateway alojado que reúne a proveedores públicos, endpoints personalizados y modelos autohospedados en una única interfaz con observabilidad y control de acceso integrados. Private Local LLM Connectivity: Se conecta a modelos autohospedados sin requerir direcciones IP públicas ni puertos de entrada, manteniendo la conectividad privada. Key Management (BYOK): Permite a los usuarios traer sus propias claves de API de proveedores como OpenAI y Anthropic para gestionarlas en un solo lugar. Scoped Access Control: Proporciona claves de acceso independientes para diferentes aplicaciones o desarrolladores, con permisos para restringir el acceso a proveedores y modelos específicos. Automated Failover and Retries: Redirige automáticamente las solicitudes a alternativas saludables si un modelo o una clave fallan y realiza reintentos instantáneos sin cambios en el código. Unified Observability: Realiza un seguimiento de los tokens, la latencia y los errores en todas las llamadas enrutadas, proporcionando visibilidad del uso por aplicación, desarrollador o modelo.