10月16日消息,ai初创公司prismml近日正式宣布bonsai 2系列迎来重大升级,全新推出三款基于qwen3.5架构的三元权重模型:ternary bonsai 2 2b、4b与9b。该系列与此前已发布的27b版本形成完整产品线,全面适配从边缘设备到高性能终端的多样化端侧部署场景。
新模型采用{-1, 0, +1}三值量化方案对权重进行编码,显著降低存储开销——三款模型的权重体积分别约为0.43GB、0.95GB和2GB,相较原始全精度模型压缩幅度超9倍。据官方介绍,模型在推理效率、多模态视觉理解、外部工具调用能力及指令遵循准确性等方面均实现明显优化;其中9B版本在常规指令执行与日常数学计算任务中,token使用量可降低约40%。
实测性能表现亮眼:在RTX 4090显卡及MacBook M5 Pro等主流硬件平台上,新模型推理吞吐量最高可达全精度版本的5倍,能效比提升达3倍;在iPhone 18 Pro Max设备上,9B模型峰值生成速度达每秒34个词元(tokens),而2B模型更可实现每秒120词元的极速响应。
所有模型权重均以Apache 2.0开源许可证发布,兼容llama.cpp框架,可在NVIDIA GPU设备上高效运行;同时支持通过Apple原生MLX框架,无缝部署于Mac、iPhone及iPad等苹果生态设备。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜












