新京报贝壳财经讯（记者张晓慧）近日，面壁智能正式发布并开源新一代端侧文本基座大模型MiniCPM5-1B，INT4（量化技术）量化后权重仅0.5GB，可在手机、浏览器等90%以上终端设备运行。新京报贝壳财经记者获悉，众智FlagOS社区基于统一多芯片软件栈，通过vLLM-plugin-FL推理插件完成MiniCPM5-1B的跨芯片适配与推理部署Day-0发布。


据悉，此次适配覆盖英伟达、华为昇腾、平头哥、摩尔线程、海光、昆仑芯、沐曦、天数智芯等8类数据中心AI加速芯片。


此外，针对MiniCPM5面向端侧部署的特点，此次跨芯片适配首次将Day-0适配延伸至 ARM端侧平台。ARM架构广泛存在于手机、AIPC、机器人、车载终端、边缘网关和各类嵌入式设备中，是端侧AI部署中数量最大、覆盖最广的计算平台之一。随着MiniCPM5-1B这类小尺寸高密度模型的发展，越来越多推理任务有机会从云端GPU下沉到端侧设备。


据了解，FlagOS支持MiniCPM5-1B在ARM上以int8、bf16、fp32三种精度运行，实现从数据中心多款AI芯片到端侧ARM的“一套代码、跨架构运行”。


编辑 杨娟娟

校对 王心