ngrok AI Gateway

ngrok AI Gateway — инструмент для шлюз для LLM. ngrok AI Gateway — это хостинговая платформа, предназначенная для централизации управления публичными провайдерами ИИ, кастомными эндпоинтами и self-hosted моделями. Предоставляя единый интерфейс, сервис позволяет разработчикам консолидировать инфраструктуру, которая обычно требует множества интеграций. Платформа работает по принципу «Один шлюз, любая модель», позволяя командам взаимодействовать с различными большими языковыми моделями через единый API для нейросетей. Такой подход упрощает технические задачи по управлению требованиями разных провайдеров и методами аутентификации.

Централизованное управление моделями через единый API

Централизованная маршрутизация моделей ИИ позволяет разработчикам переключаться между различными провайдерами или моделями. ngrok AI Gateway использует подход «Один URL, любой SDK», при котором пользователи меняют свой baseURL на единый эндпоинт ngrok и обновляют API-ключ для начала маршрутизации трафика. Данная конфигурация совместима с OpenAI SDK, Anthropic SDK и Vercel AI SDK.

Благодаря функции Bring Your Own Keys (BYOK) организации могут использовать свои существующие учетные данные от таких провайдеров, как OpenAI и Anthropic. Это позволяет сохранять прямые отношения с провайдерами, осуществляя управление ключами API в одном месте. Шлюз функционирует как программный слой, который можно настраивать через API, Terraform, CLI ngrok или другие инструменты.

Безопасное подключение локальных и self-hosted LLM

Для организаций, использующих собственную инфраструктуру, шлюз предлагает специализированное подключение локальных LLM. Эта функция позволяет пользователям подключаться к локальным моделям, доступным для шлюза, без необходимости настройки публичных IP-адресов или открытия входящих портов. Поддерживая подключение без публичных IP-адресов, шлюз применяет к self-hosted моделям ту же логику маршрутизации, что и к публичным провайдерам.

Эта возможность актуальна для команд, которым необходимо подключить локальные модели к публичным приложениям при соблюдении сетевых требований. Шлюз управляет базовым соединением, обеспечивая доступность внутренних моделей для авторизованных приложений через единый интерфейс.

Обсерваемость: мониторинг использования токенов и задержки

Управление ИИ-инфраструктурой требует детальной видимости того, как используются модели. ngrok AI Gateway включает встроенные инструменты для отслеживания метрик производительности, которые часто фрагментированы в панелях управления разных провайдеров. Система осуществляет мониторинг токенов и задержки, а также фиксирует ошибки для каждого маршрутизируемого вызова.

Аналитические данные группируются для предоставления представления о паттернах использования конкретными приложениями, отдельными разработчиками или определенными моделями. Шлюз предоставляет консолидированный мониторинг использования токенов и производительности всего стека ИИ.

Отказоустойчивость ИИ-инфраструктуры и контроль доступа

Для поддержания работоспособности приложений шлюз включает механизмы автоматического переключения при сбоях и повторных попыток. Если конкретная модель или ключ провайдера замедляется или выходит из строя, система перенаправляет запросы на заранее определенную работоспособную альтернативу. Кроме того, шлюз выполняет мгновенные повторные попытки для неудачных запросов, что обеспечивает отказоустойчивость ИИ-инфраструктуры без необходимости внедрения логики обработки ошибок в программный код.

Безопасность обеспечивается через разграничение прав доступа. Администраторы могут выдавать отдельные ключи доступа разным разработчикам или приложениям и устанавливать детализированные разрешения. Эти разрешения определяют, какие именно провайдеры и модели разрешено вызывать конкретному ключу, исключая необходимость передачи мастер-ключей API внутри организации.

Часто задаваемые вопросы

Как интегрировать ngrok AI Gateway с моими существующими приложениями ИИ?

Вы можете выполнить интеграцию, изменив baseURL на https://gateway.ngrok.ai и заменив свой API-ключ. Он совместим с OpenAI SDK, Anthropic SDK и Vercel AI SDK.

Могу ли я использовать ngrok AI Gateway с моделями, которые я запускаю самостоятельно?

Да, вы можете направлять запросы к любой локальной LLM, доступной из AI Gateway. Он использует частное соединение, поэтому вам не нужно управлять публичными IP-адресами или входящими портами.

Как шлюз обрабатывает сбои или ошибки моделей?

Шлюз автоматически перенаправляет запросы на определенную работоспособную альтернативу, если модель или ключ выходят из строя. Он также выполняет мгновенные повторные попытки для неудачных запросов, чтобы приложения могли продолжать работу без ручной обработки ошибок в коде.

Как я могу контролировать, какие разработчики или приложения имеют доступ к конкретным моделям?

Вы можете выдать отдельные ключи доступа для каждого разработчика или приложения и настроить, какие именно провайдеры и модели разрешено вызывать каждому ключу.

Что делает ngrok AI Gateway?

Unified AI Gateway: размещенный шлюз, который объединяет публичных провайдеров, пользовательские эндпоинты и самостоятельно размещенные модели в единый интерфейс со встроенной наблюдаемостью и контролем доступа. Private Local LLM Connectivity: подключение к самостоятельно размещенным моделям без необходимости использования публичных IP-адресов или входящих портов, с сохранением частного соединения. Key Management (BYOK): позволяет пользователям использовать собственные API-ключи от таких провайдеров, как OpenAI и Anthropic, для управления ими в одном месте. Scoped Access Control: предоставляет отдельные ключи доступа для различных приложений или разработчиков с разрешениями на ограничение доступа к конкретным провайдерам и моделям. Automated Failover and Retries: автоматически перенаправляет запросы на работоспособные альтернативы в случае сбоя модели или ключа и выполняет мгновенные повторные попытки без внесения изменений в код. Unified Observability: отслеживает токены, задержку и ошибки для всех маршрутизируемых вызовов, обеспечивая видимость использования по приложениям, разработчикам или моделям.