ngrok AI Gateway

Das ngrok AI Gateway ist eine gehostete Plattform, die darauf ausgelegt ist, die Verwaltung öffentlicher KI-Anbieter, benutzerdefinierter Endpunkte und selbstgehosteter Modelle zu zentralisieren. Durch die Bereitstellung einer einheitlichen Schnittstelle ermöglicht es Entwicklern, ihre Infrastruktur zu konsolidieren, die normalerweise mehrere Integrationen erfordern würde. Der Dienst folgt dem Prinzip „One gateway, every model“ und erlaubt Teams die Interaktion mit verschiedenen Large Language Models (LLMs) über eine Unified AI API. Dieser Ansatz reduziert den technischen Aufwand für die Verwaltung unterschiedlicher Anforderungen und Authentifizierungsmethoden der Anbieter.

Zentralisiertes KI-Modell-Routing

Ein zentralisiertes KI-Modell-Routing ermöglicht es Entwicklern, zwischen verschiedenen Anbietern oder Modellen zu wechseln, ohne den Code grundlegend anzupassen. Das ngrok AI Gateway verfolgt einen „One URL, any SDK“-Ansatz, bei dem Benutzer lediglich ihre baseURL auf einen einzigen ngrok-Endpunkt umstellen und ihren API-Schlüssel aktualisieren müssen, um den Datenverkehr zu leiten. Diese Konfiguration ist mit dem OpenAI SDK, Anthropic SDK und Vercel AI SDK kompatibel.

Durch die Funktion „Bring Your Own Keys“ (BYOK) können Organisationen ihre bestehenden Zugangsdaten von Anbietern wie OpenAI und Anthropic verwenden. Dies stellt sicher, dass Benutzer ihre direkten Beziehungen und vereinbarten Konditionen bei diesen Anbietern beibehalten, während sie alle Schlüssel an einem zentralen Ort verwalten. Das Gateway fungiert als programmierbare Ebene, die über APIs, Terraform, die ngrok CLI oder andere benutzerdefinierte Tools konfiguriert werden kann, um sich in bestehende DevOps-Workflows einzufügen.

Anbindung selbstgehosteter LLMs

Für Organisationen, die ihre eigene Infrastruktur betreiben, bietet das Gateway eine spezialisierte Anbindung für selbstgehostete LLMs. Diese Funktion ermöglicht die Verbindung zu lokalen LLMs, die vom Gateway aus erreichbar sind, ohne dass öffentliche IP-Adressen konfiguriert oder eingehende Ports geöffnet werden müssen. Durch die Aufrechterhaltung einer privaten Konnektivität behandelt das Gateway selbstgehostete Modelle mit derselben Routing-Logik wie öffentliche Anbieter.

Diese Fähigkeit ist besonders relevant für Teams, die lokale LLMs mit öffentlichen Anwendungen verbinden müssen und dabei strenge Netzwerkanforderungen einhalten müssen. Das Gateway übernimmt die zugrunde liegende Verbindung und stellt sicher, dass interne Modelle vor dem öffentlichen Internet geschützt bleiben, während sie für autorisierte Anwendungen über die einheitliche Schnittstelle zugänglich sind.

LLM-Observability und Nutzungsanalyse

Ein effektives Management der KI-Infrastruktur erfordert detaillierte Einblicke in die Nutzung der Modelle. Das ngrok AI Gateway umfasst eine integrierte LLM-Observability, um Leistungsmetriken zu verfolgen, die andernfalls über verschiedene Anbieter-Dashboards fragmentiert wären. Es überwacht den Token-Verbrauch, die Latenz und die Fehlerraten bei jedem gerouteten Aufruf.

Diese Analysen werden zusammengeführt, um ein klares Bild der Nutzungsmuster nach spezifischen Anwendungen, einzelnen Entwicklern oder Modellen zu vermitteln. Anstatt sich auf separate, anbieterspezifische Dashboards zu verlassen, die möglicherweise nicht zwischen verschiedenen internen Projekten unterscheiden, bietet das Gateway eine konsolidierte Sicht auf die Leistung und den Verbrauch des gesamten KI-Stacks.

Resilienz durch Failover und Retries

Um die Verfügbarkeit von Anwendungen aufrechtzuerhalten, enthält das Gateway Mechanismen für automatisiertes Failover und Retries. Wenn ein bestimmtes Modell oder ein Anbieterschlüssel langsamer wird oder ausfällt, kann das System Anfragen an eine vordefinierte, funktionierende Alternative umleiten, bevor Benutzer dies bemerken. Zusätzlich führt das Gateway sofortige Wiederholungsversuche bei fehlgeschlagenen Anfragen durch, sodass Anwendungen weiterlaufen können, ohne dass eine manuelle Fehlerbehandlungslogik im Anwendungscode erforderlich ist.

Die Sicherheit wird durch eine bereichsbezogene Zugriffskontrolle (Scoped Access Control) verwaltet. Administratoren können separate Zugriffsschlüssel für verschiedene Entwickler oder Anwendungen ausstellen und granulare Berechtigungen festlegen. Diese Berechtigungen definieren genau, welche Anbieter und Modelle ein spezifischer Schlüssel aufrufen darf, wodurch die Notwendigkeit entfällt, Master-API-Schlüssel innerhalb einer Organisation weiterzugeben.

Häufig gestellte Fragen

Wie integriere ich das ngrok AI Gateway in meine bestehenden KI-Anwendungen?

Sie können die Integration durchführen, indem Sie Ihre baseURL auf https://gateway.ngrok.ai ändern und Ihren API-Schlüssel austauschen. Es ist kompatibel mit dem OpenAI SDK, Anthropic SDK und Vercel AI SDK.

Kann ich das ngrok AI Gateway mit Modellen verwenden, die ich selbst betreibe?

Ja, Sie können Anfragen an jedes lokale LLM weiterleiten, das vom AI Gateway aus erreichbar ist. Es nutzt private Konnektivität, sodass Sie keine öffentlichen IPs oder eingehenden Ports verwalten müssen.

Wie geht das Gateway mit Modellausfällen oder Fehlern um?

Das Gateway leitet Anfragen automatisch an eine definierte, funktionierende Alternative um, falls ein Modell oder ein Schlüssel ausfällt. Zudem führt es sofortige Wiederholungsversuche für fehlgeschlagene Anfragen durch, sodass Anwendungen ohne manuelle Fehlerbehandlung im Code weiterlaufen können.

Wie kann ich steuern, welche Entwickler oder Anwendungen Zugriff auf bestimmte Modelle haben?

Sie können separate Zugriffsschlüssel für jeden Entwickler oder jede Anwendung ausstellen und konfigurieren, welche spezifischen Anbieter und Modelle mit dem jeweiligen Schlüssel aufgerufen werden dürfen.

Was macht das ngrok AI Gateway?

Unified AI Gateway: Ein gehostetes Gateway, das öffentliche Anbieter, benutzerdefinierte Endpunkte und selbst gehostete Modelle in einer einzigen Schnittstelle mit integrierter Beobachtbarkeit und Zugriffskontrolle zusammenführt. Private Local LLM Connectivity: Verbindet sich mit selbst gehosteten Modellen, ohne dass öffentliche IPs oder eingehende Ports erforderlich sind, wobei die private Konnektivität erhalten bleibt. Key Management (BYOK): Ermöglicht es Benutzern, ihre eigenen API-Schlüssel von Anbietern wie OpenAI und Anthropic mitzubringen, um sie an einem Ort zu verwalten. Scoped Access Control: Bietet separate Zugriffsschlüssel für verschiedene Anwendungen oder Entwickler, mit Berechtigungen zur Einschränkung des Zugriffs auf bestimmte Anbieter und Modelle. Automated Failover and Retries: Leitet Anfragen bei Ausfall eines Modells oder Schlüssels automatisch an funktionierende Alternativen um und führt sofortige Wiederholungsversuche ohne Codeänderungen durch. Unified Observability: Verfolgt Token, Latenz und Fehler über alle weitergeleiteten Aufrufe hinweg und bietet Transparenz über die Nutzung nach Anwendung, Entwickler oder Modell.