新京报贝壳财经讯 6月6日晚,面壁智能发布端侧大模型MiniCPM 4.0。面壁智能称,新模型通过自研CPM.cu极速端侧推理框架,在极限场景下实现最高220倍、常规5倍速度提升;以仅2.7%的训练开销,达到一半参数、性能翻倍效果;贡献了行业首例全开源的系统级上下文稀疏化高效创新;支持在vLLM、SGLang、LlamaFactory等框架部署。
编辑 段文平
新京报贝壳财经讯 6月6日晚,面壁智能发布端侧大模型MiniCPM 4.0。面壁智能称,新模型通过自研CPM.cu极速端侧推理框架,在极限场景下实现最高220倍、常规5倍速度提升;以仅2.7%的训练开销,达到一半参数、性能翻倍效果;贡献了行业首例全开源的系统级上下文稀疏化高效创新;支持在vLLM、SGLang、LlamaFactory等框架部署。
编辑 段文平
贝壳财经是《新京报》旗下独立财经品牌
想要发表评论,阅读更多精彩内容,快来下
载新京报客户端吧