Inkling 2 Small favicon

Inkling 2 Small

Inkling 2 Small es un modelo de lenguaje de mezcla de expertos de 594B parámetros con 17B parámetros activos y una ventana de contexto de 256K.

TextoProcesamiento y generación de texto en…Servicio mediante inferencia sin…Entrenamiento y muestreo a través de la…Arquitectura de mezcla de expertos
Inkling 2 Small product interface screenshot
Visitas mensuales estimadas
376 mil
Periodo de datos:
Publicado en AIToolly

¿Qué es Inkling 2 Small? Descripción del producto

Qué hace el producto y cómo se presenta oficialmente

Inkling 2 Small es un modelo fundacional de escala de frontera desarrollado por Thinking Machines. Construido sobre una arquitectura de mezcla de expertos, el modelo combina 594 mil millones de parámetros totales con 17 mil millones de parámetros activos, ofreciendo una ventana de contexto máxima extendida de 256K tokens.

Alojado en la plataforma Tinker, Inkling 2 Small está disponible para entrenamiento, muestreo e inferencia sin servidor en fase beta. Se puede integrar en flujos de trabajo personalizados a través de la API y el SDK de cliente de Tinker.

¿Para qué se puede usar Inkling 2 Small?

Casos de uso respaldados por fuentes oficiales

Postentrenamiento personalizado y ajuste fino

Las organizaciones pueden adaptar Inkling 2 Small a conjuntos de datos de dominios especializados mediante ajuste fino supervisado o aprendizaje por refuerzo a través de la API de entrenamiento de Tinker.

Inferencia de texto sin servidor de contexto largo

Los desarrolladores pueden desplegar Inkling 2 Small a través de terminales de inferencia sin servidor para procesar documentos extensos de hasta 256K tokens con entradas en caché.

Arquitectura del modelo e integración en la plataforma

Inkling 2 Small implementa una arquitectura dispersa de mezcla de expertos compuesta por 594B de parámetros totales, enrutando el cómputo de modo que solo 17B de parámetros permanecen activos por token. Este diseño proporciona una amplia capacidad representacional a la vez que contiene los requisitos computacionales de entrenamiento e inferencia activa.

El modelo se integra directamente en la plataforma Tinker de Thinking Machines, la cual coordina la acumulación de gradientes, las pasadas hacia adelante y hacia atrás, los pasos del optimizador y la gestión periódica de puntos de control en clústeres de GPU gestionados.

  • Arquitectura de mezcla de expertos con 594B de parámetros totales y 17B de parámetros activos.
  • Capacidad de longitud de contexto que admite hasta 256K tokens.
  • Disponible para inferencia sin servidor durante la fase beta con almacenamiento en caché de entradas.
  • Compatible con el bucle de entrenamiento gestionado de Tinker, puntos de control periódicos y terminales de exportación de pesos.

Qué probar antes de elegir Inkling 2 Small

Comprobaciones con tus propios materiales y flujo de trabajo

  • Confirme si la ventana de contexto de 256K tokens se adapta al tamaño de los documentos de su organización.
  • Verifique que el perfil computacional de 17B de parámetros activos cumpla con sus requisitos operativos de latencia.
  • Compruebe que las funciones en fase beta y los niveles de SLA de la inferencia sin servidor cumplan con sus criterios de despliegue en producción.

Fuentes y fecha de revisión de Inkling 2 Small

Qué fuentes se revisaron y cuándo

Última comprobación
Categoría
Texto

Preguntas frecuentes sobre Inkling 2 Small

Respuestas basadas en el registro de producto con fuentes verificadas

¿Cuál es la arquitectura de Inkling 2 Small?

Inkling 2 Small es un modelo de mezcla de expertos con 594 mil millones de parámetros totales y 17 mil millones de parámetros activos.

¿Qué longitud de contexto admite Inkling 2 Small?

Inkling 2 Small admite una ventana de contexto máxima de hasta 256K tokens para cargas de trabajo.

¿Se puede acceder a Inkling 2 Small mediante inferencia sin servidor?

Sí, Inkling 2 Small es compatible con la oferta de inferencia sin servidor de Tinker, la cual se encuentra actualmente en fase beta.

¿Se pueden descargar los puntos de control del modelo guardados?

Sí, Tinker proporciona un punto de conexión de API que permite a los usuarios descargar cualquier punto de control que hayan guardado.

¿Qué mecanismos de seguridad protegen las cargas de trabajo en Tinker?

Las cargas de trabajo están protegidas mediante cifrado Cloud KMS gestionado por el cliente, VPC PrivateLink, emisores OIDC personalizados, controles de acceso basados en roles y registros de auditoría de la organización.

Explora otras herramientas añadidas recientemente en la misma categoría.