Inkling 2 Small est un modèle de langage à mélange d'experts de 594 milliards de paramètres, avec 17 milliards de paramètres actifs et un contexte de 256K tokens.
Fonction du produit et positionnement officiel
Inkling 2 Small est un modèle de fondation de pointe développé par Thinking Machines. Reposant sur une architecture à mélange d'experts, il associe un total de 594 milliards de paramètres à 17 milliards de paramètres actifs, tout en offrant une fenêtre de contexte maximale étendue à 256K tokens.
Hébergé sur la plateforme Tinker, Inkling 2 Small est proposé pour l'entraînement, l'échantillonnage et l'inférence serverless en version bêta. Il peut être intégré dans des flux de travail personnalisés grâce à l'API et au SDK client de Tinker.
Cas d’usage étayés par les sources officielles
Les organisations peuvent adapter Inkling 2 Small à des ensembles de données métiers spécialisés par ajustement fin supervisé ou apprentissage par renforcement via l'API d'entraînement de Tinker.
Les développeurs peuvent déployer Inkling 2 Small via des points de terminaison serverless pour traiter de longs documents allant jusqu'à 256K tokens avec mise en cache des entrées.
Inkling 2 Small met en œuvre une architecture éparse à mélange d'experts comprenant 594 milliards de paramètres au total, en acheminant les calculs pour que seulement 17 milliards de paramètres soient actifs par token. Cette conception offre une large capacité de représentation tout en maîtrisant les exigences de calcul pour l'inférence active et l'entraînement.
Le modèle s'intègre directement à la plateforme Tinker de Thinking Machines, qui coordonne l'accumulation de gradients, les passes avant et arrière, les étapes d'optimisation et la gestion périodique des points de contrôle sur des clusters GPU gérés.
Vérifications à effectuer avec vos contenus et votre flux de travail
Sources vérifiées et date de la vérification
Réponses fondées sur la fiche produit dont les sources ont été vérifiées
Inkling 2 Small est un modèle à mélange d'experts comptant 594 milliards de paramètres au total, dont 17 milliards de paramètres actifs lors de l'exécution.
Inkling 2 Small prend en charge une fenêtre de contexte maximale pouvant atteindre jusqu'à 256K tokens pour l'entraînement et l'inférence.
Oui, Inkling 2 Small est pris en charge par l'offre d'inférence serverless de Tinker, actuellement disponible en phase bêta.
Oui, Tinker propose un point de terminaison d'API qui permet aux utilisateurs de télécharger n'importe quel point de contrôle sauvegardé.
Les charges de travail sont protégées par le chiffrement Cloud KMS géré par le client, VPC PrivateLink, des émetteurs OIDC personnalisés, un contrôle d'accès basé sur les rôles et des journaux d'audit d'organisation.
