Inkling 2 Small ist ein Mixture-of-Experts-Sprachmodell mit 594 Mrd. Parametern, 17 Mrd. aktiven Parametern und einem 256K-Kontextfenster.
Funktion und offizielle Positionierung des Produkts
Inkling 2 Small ist ein Basismodell im Frontier-Bereich, das von Thinking Machines entwickelt wurde. Das auf einer Mixture-of-Experts-Architektur basierende Modell kombiniert 594 Milliarden Gesamtparameter mit 17 Milliarden aktiven Parametern und bietet ein erweitertes maximales Kontextfenster von 256K Token.
Inkling 2 Small wird auf der Tinker-Plattform gehostet und steht in der Beta-Phase für Training, Sampling sowie serverlose Inferenz zur Verfügung. Es lässt sich über die API und das Client-SDK von Tinker in benutzerdefinierte Workflows integrieren.
Durch offizielle Quellen belegte Anwendungsfälle
Organisationen können Inkling 2 Small mithilfe von überwachtem Fine-Tuning oder Reinforcement Learning über die Tinker-Trainings-API an spezialisierte Domänendatensätze anpassen.
Entwickler können Inkling 2 Small über serverlose Inferenz-Endpunkte bereitstellen, um umfangreiche Dokumente mit bis zu 256K Token und zwischengespeicherten Eingaben zu verarbeiten.
Inkling 2 Small implementiert eine Sparse-Mixture-of-Experts-Architektur mit insgesamt 594 Mrd. Parametern und leitet Berechnungen so weiter, dass pro Token nur 17 Mrd. Parameter aktiv bleiben. Dieser Aufbau bietet eine breite Repräsentationskapazität und hält gleichzeitig den aktiven Rechenaufwand für Inferenz und Training in Grenzen.
Das Modell lässt sich direkt in die Tinker-Plattform von Thinking Machines integrieren, welche die Gradientenakkumulation, Forward-Backward-Durchläufe, Optimierungsschritte und die periodische Checkpoint-Verwaltung über verwaltete GPU-Cluster hinweg koordiniert.
Prüfungen mit eigenen Inhalten und Arbeitsabläufen
Welche Quellen wann geprüft wurden
Antworten auf Basis des quellengeprüften Produkteintrags
Inkling 2 Small ist ein Mixture-of-Experts-Modell mit insgesamt 594 Milliarden Parametern und 17 Milliarden aktiven Parametern.
Inkling 2 Small unterstützt ein maximales Kontextfenster von bis zu 256K Token.
Ja, Inkling 2 Small wird im Rahmen des serverlosen Inferenzangebots von Tinker unterstützt, welches sich derzeit in der Beta-Phase befindet.
Ja, Tinker stellt einen API-Endpunkt bereit, über den Benutzer jeden gespeicherten Checkpoint herunterladen können.
Workloads werden durch kundenverwaltete Cloud-KMS-Verschlüsselung, VPC PrivateLink, benutzerdefinierte OIDC-Aussteller, rollenbasierte Zugriffskontrollen und Organisations-Audit-Protokolle geschützt.
