PrismML发布Bonsai 27B：全球首个可在手机运行的27B级多模态大模型
PrismML正式宣布推出Bonsai 27B，这是首个能在智能手机上本地运行的27B参数级别模型。该模型基于Qwen3.6 27B，通过极致的1比特和三元权重压缩技术，将原本庞大的模型体积缩减至最低3.9GB。Bonsai 27B不仅具备多步推理、工具调用和视觉识别能力，还支持262K超长上下文，标志着高性能大模型进入移动端本地化部署的新时代。
核心要点
- 首创手机端27B模型：Bonsai 27B是首个实现手机端运行的27B参数级别模型，打破了高性能模型必须依赖云端或高端PC的限制。
- 极致压缩技术：通过1-bit和Ternary（三元）权重技术，将模型体积从原始的54GB压缩至3.9GB-5.9GB，且保持了端到端的低比特表示。
- 全能多模态能力：支持视觉任务、多步推理、结构化工具调用及计算机使用智能体循环，具备262K超长上下文处理能力。
- 硬件兼容性突破：1-bit版本可适配iPhone 17 Pro的内存预算，而Ternary版本则可在普通笔记本电脑上流畅运行。
详细分析
突破性的模型压缩与本地化部署
在Bonsai 27B发布之前，将27B级别的模型部署在本地设备上极具挑战。传统的16位精度模型占用约54GB空间，即使是经过优化的4位精度版本也需要18GB，这超出了绝大多数手机和主流笔记本电脑的内存容量。PrismML通过创新的量化技术改变了这一现状。Bonsai 27B提供了两个版本：Ternary版本采用{-1, 0, +1}权重，有效位宽为1.71比特，体积仅为5.9GB，专注于保持高质量的推理和工具调用能力；1-bit版本则采用{-1, +1}权重，有效位宽降至1.125比特，体积进一步缩减至3.9GB，使其能够完美契合iPhone 17 Pro等移动设备的内存限制。
强大的多模态与智能体能力
尽管体积大幅缩小，Bonsai 27B在功能上并未妥协。它基于Qwen3.6 27B构建，继承了强大的多模态基因。该模型配备了一个紧凑的4位视觉塔（Vision Tower），使其能够处理屏幕截图、文档和相机输入。更重要的是，Bonsai 27B支持复杂的“计算机使用”智能体循环（Agentic Loops），能够跨多个步骤保持逻辑连贯性。结合其262K的超长上下文支持和投机采样（Speculative Decoding）技术，该模型在处理长文档分析和复杂任务编排时表现出色，真正实现了在口袋里运行“大脑级”AI的可能性。
行业影响
Bonsai 27B的发布对AI行业具有深远意义。首先，它证明了超低比特（1-bit/Ternary）量化技术在超大规模模型上的商业可行性，打破了“低比特必低智”的固有印象。其次，这加速了AI从云端向边缘端的迁移，提升了用户隐私安全性并降低了延迟。对于开发者而言，这意味着可以在不依赖昂贵API的情况下，在终端设备上构建具备复杂推理和视觉能力的智能应用，预示着移动端AI原生应用将迎来爆发式增长。
常见问题
问题：Bonsai 27B的两个版本在性能和用途上有什么区别？
答： Ternary版本（5.9GB）是质量导向型，提供更强的推理、工具调用和智能体能力，适合在普通笔记本电脑上运行；1-bit版本（3.9GB）是体积导向型，专门为手机内存预算设计，是首个能跑在手机上的27B级模型。
问题：该模型如何处理视觉信息？
答： Bonsai 27B内置了一个4比特精度的视觉塔，这使得它不仅能处理文本，还能识别和分析屏幕截图、纸质文档以及实时的相机输入，支持完整的端到端多模态工作流。
问题：它是否使用了高精度技术来辅助运行？
答： 没有。Bonsai 27B在语言网络、嵌入层、注意力机制、MLP以及输出头（LM head）中全部采用了端到端的低比特表示，没有使用任何高精度“逃生门”技术，确保了极致的轻量化。
