Inkling 2 Small — это языковая модель на основе смеси экспертов с 594 млрд параметров, 17 млрд активных параметров и контекстным окном на 256 тыс. токенов.
Назначение продукта и его официальное позиционирование
Inkling 2 Small — это базовая модель передового уровня, разработанная Thinking Machines. Построенная на архитектуре экспертных смесей, модель объединяет 594 миллиарда общих параметров с 17 миллиардами активных параметров, предлагая расширенное максимальное окно контекста в 256 тыс. токенов.
Размещенная на платформе Tinker, модель Inkling 2 Small доступна для обучения, сэмплирования и бессерверного инференса в режиме бета-тестирования. Ее можно интегрировать в пользовательские рабочие процессы через API и клиентский SDK Tinker.
Сценарии, подтверждённые официальными источниками
Организации могут адаптировать Inkling 2 Small на специализированных наборах данных предметной области с помощью контролируемой точной настройки или обучения с подкреплением через API обучения Tinker.
Разработчики могут развертывать Inkling 2 Small через конечные точки бессерверного инференса для обработки длинных документов объемом до 256 тыс. токенов с кэшированными входными данными.
Inkling 2 Small реализует разреженную архитектуру смеси экспертов, состоящую из 594 млрд общих параметров, распределяя вычисления таким образом, что на один токен активными остаются только 17 млрд параметров. Такая конструкция обеспечивает широкую репрезентативную емкость при ограничении требований к активным вычислительным ресурсам для инференса и обучения.
Модель напрямую интегрируется в платформу Tinker от Thinking Machines, которая координирует накопление градиентов, проходы вперед-назад, шаги оптимизатора и периодическое управление контрольными точками в управляемых кластерах графических процессоров.
Проверки на собственных материалах и рабочих процессах
Какие источники и когда были проверены
Ответы на основе карточки продукта с проверенными источниками
Inkling 2 Small представляет собой модель со смесью экспертов, содержащую 594 миллиарда общих параметров и 17 миллиардов активных параметров.
Inkling 2 Small поддерживает максимальное окно контекста объемом до 256 тыс. токенов для работы с большими объемами данных.
Да, модель Inkling 2 Small поддерживается в рамках предложения бессерверного инференса от Tinker, которое в настоящее время находится в стадии бета-тестирования.
Да, Tinker предоставляет специальную конечную точку API, которая позволяет пользователям скачивать любые сохраненные ими контрольные точки модели.
Рабочие нагрузки защищены с помощью шифрования Cloud KMS, управляемого клиентом, VPC PrivateLink, пользовательских издателей OIDC, средств контроля доступа на основе ролей и журналов аудита организации.
