Thinking Machines发布Inkling开源权重模型：975B参数与百万级上下文支持

核心要点

• 超大规模架构：Inkling是一个拥有975B总参数、41B激活参数的混合专家（MoE）模型。
• 长文本支持：支持最高100万token的上下文窗口，能够处理超长文档与复杂任务。
• 原生多模态：在45万亿token的多模态数据（文本、图像、音频、视频）上预训练，具备跨模态推理能力。
• 开源与定制：提供完整权重下载，并集成于Tinker平台，支持开发者进行微调与个性化定制。
• 系列化布局：同步推出轻量版Inkling-Small（12B激活参数），在降低成本与延迟的同时保持强劲性能。

详细分析

混合专家架构与高效推理性能

Inkling采用了先进的混合专家（Mixture-of-Experts, MoE）转换器架构。尽管其总参数量达到了惊人的975B，但在实际推理过程中仅有41B参数处于激活状态。这种设计使得模型在保持大规模知识容量的同时，能够显著降低计算成本和响应延迟。此外，Inkling支持高达100万token的上下文窗口，这使其在处理长篇法律文件、复杂代码库或多模态长视频分析时具有显著的竞争优势，能够理解并关联极长跨度内的信息。

45万亿Token驱动的原生多模态能力

该模型在包含文本、图像、音频和视频的45万亿token海量数据集上进行了从头预训练。与传统的插件式多模态模型不同，Inkling具备原生的跨模态推理能力，能够平衡成本与性能，并通过“高效且可控的思考努力”来优化任务处理。Thinking Machines强调，Inkling被设计为一个广泛且平衡的基础模型，旨在成为一个灵活的定制底座，而非单纯追求在所有基准测试中超越现有的闭源模型。

赋能开发者：Tinker平台与定制化生态

Thinking Machines的使命是构建扩展人类意志与判断力的AI。为此，Inkling不仅开源了模型权重，还深度集成了Tinker平台。开发者可以通过新推出的Inkling Playground进行交互式测试，并利用Tinker的微调功能根据特定需求定制模型。这种“开源权重+定制工具”的组合，降低了企业和个人开发者构建私有化、专业化AI系统的门槛，让AI的“思考方式”能够更贴合具体的使用场景。

行业影响

Inkling的发布标志着开源AI模型进入了近万亿参数的新阶段。通过提供超长上下文和原生多模态支持，它为开源社区提供了足以挑战顶级闭源模型的工具。其强调“可定制性”而非单纯的“榜单排名”，反映了行业从通用大模型向垂直化、个性化应用转型的趋势。此外，MoE架构的进一步大规模实践将推动高效能AI计算的普及，为开发者在性能与成本之间提供了更优的平衡点。

常见问题

问题：Inkling模型的参数规模是多少？

Inkling总计拥有975B参数，采用MoE架构，实际运行时的激活参数为41B。此外还有Inkling-Small版本，其激活参数为12B。

问题：Inkling支持哪些模态的数据处理？

Inkling在预训练阶段使用了文本、图像、音频和视频数据，能够原生推理文本、图像和音频信息，具备多模态处理能力。

问题：如何对Inkling进行微调和测试？

用户可以通过Thinking Machines提供的Tinker平台对Inkling进行微调。同时，官方在Tinker控制台中提供了Inkling Playground，方便开发者进行交互式对话测试。