ngrok AI Gateway

ngrok AI Gateway est un outil pour Gateway IA. ngrok AI Gateway est une plateforme hébergée conçue pour centraliser la gestion des fournisseurs d'IA publics, des points de terminaison personnalisés et des modèles auto-hébergés. En offrant une interface unique, cet outil permet aux équipes de simplifier la gestion de leur infrastructure IA. L'utilisation d'une API unifiée IA permet aux développeurs d'interagir avec divers modèles sans avoir à gérer des méthodes d'authentification disparates.

Interface unifiée pour modèles LLM

La centralisation du routage des modèles permet aux développeurs de basculer entre différents fournisseurs ou modèles sans modification majeure du code. En utilisant une approche basée sur une URL unique, les utilisateurs configurent leur baseURL vers le point de terminaison ngrok et mettent à jour leur clé API. Cette solution est compatible avec les SDK OpenAI, Anthropic et Vercel AI. Grâce à la fonctionnalité « Apportez vos propres clés » (BYOK), les organisations gèrent l'ensemble des clés depuis une seule interface.

Connectivité sécurisée pour LLM auto-hébergés

Pour les organisations exploitant leur propre infrastructure, la plateforme propose une connectivité spécialisée pour les modèles locaux. Cette fonctionnalité permet de se connecter à des LLM auto-hébergés accessibles depuis la passerelle sans avoir à configurer d'adresses IP publiques ou à ouvrir des ports entrants. En maintenant une connectivité LLM privé, la passerelle applique la même logique de routage aux modèles locaux qu'aux fournisseurs publics, garantissant que les modèles internes restent isolés de l'internet public.

Observabilité et suivi de consommation

Une gestion de l'infrastructure IA nécessite une visibilité détaillée sur l'utilisation des modèles. ngrok AI Gateway intègre des outils pour surveiller les métriques de performance, incluant le suivi des tokens, de la latence et des erreurs pour chaque appel routé. Ces analyses permettent d'obtenir une vue consolidée de la consommation par application, par développeur ou par modèle, facilitant ainsi la gestion de modèles LLM au sein de l'organisation.

Résilience et contrôle d'accès

Pour maintenir la disponibilité des applications, la passerelle inclut des mécanismes de basculement automatique et de nouvelles tentatives. Si un modèle ou une clé rencontre des ralentissements ou des échecs, le système redirige les requêtes vers une alternative saine définie au préalable. De plus, la sécurité est renforcée par un contrôle d'accès granulaire. Les administrateurs peuvent émettre des clés d'accès distinctes pour différents développeurs ou applications, en définissant précisément les fournisseurs et les modèles autorisés pour chaque clé.

Questions fréquentes

Comment intégrer ngrok AI Gateway à mes applications d'IA existantes ?

Vous pouvez effectuer l'intégration en modifiant votre baseURL par https://gateway.ngrok.ai et en remplaçant votre clé API. Il est compatible avec les SDK OpenAI, Anthropic et Vercel AI.

Puis-je utiliser ngrok AI Gateway avec des modèles que j'héberge moi-même ?

Oui, vous pouvez router vers n'importe quel LLM local accessible depuis l'AI Gateway. Il utilise une connectivité privée, vous n'avez donc pas besoin de gérer des adresses IP publiques ou des ports entrants.

Comment la passerelle gère-t-elle les pannes ou les erreurs de modèle ?

La passerelle reroute automatiquement les requêtes vers une alternative saine définie si un modèle ou une clé échoue. Elle effectue également des tentatives immédiates pour les requêtes échouées afin que les applications puissent continuer à fonctionner sans gestion manuelle des erreurs dans le code.

Comment puis-je contrôler quels développeurs ou applications ont accès à des modèles spécifiques ?

Vous pouvez émettre des clés d'accès distinctes pour chaque développeur ou application et configurer les fournisseurs et modèles spécifiques que chaque clé est autorisée à appeler.

Que fait ngrok AI Gateway ?

Unified AI Gateway : Une passerelle hébergée qui rassemble les fournisseurs publics, les points de terminaison personnalisés et les modèles auto-hébergés dans une interface unique avec observabilité et contrôle d'accès intégrés. Private Local LLM Connectivity : Se connecte aux modèles auto-hébergés sans nécessiter d'adresses IP publiques ou de ports entrants, en maintenant une connectivité privée. Key Management (BYOK) : Permet aux utilisateurs d'apporter leurs propres clés API de fournisseurs tels qu'OpenAI et Anthropic pour les gérer au même endroit. Scoped Access Control : Fournit des clés d'accès distinctes pour différentes applications ou développeurs, avec des autorisations pour restreindre l'accès à des fournisseurs et modèles spécifiques. Automated Failover and Retries : Reroute automatiquement les requêtes vers des alternatives saines si un modèle ou une clé échoue et effectue des tentatives immédiates sans modification du code. Unified Observability : Suit les jetons, la latence et les erreurs sur tous les appels routés, offrant une visibilité sur l'utilisation par application, développeur ou modèle.