股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

MiniCPM-V 4.7 Day0 适配,RK1828首次支持 35B MoE 多模态模型!

瑞芯微与面壁智能持续深化软硬生态协同,针对面壁智能与 OpenBMB 联合推出的新一代端侧多模态大模型 MiniCPM-V 4.7,完成 35B-A3B 版本的 Day-0 原生适配与端侧部署,为终端设备搭载多模态 AI 能力提供全新选择。

首次支持 35B MoE 多模态模型

拓展端侧 AI 能力

本次适配标志着瑞芯微平台首次支持 35B MoE 多模态模型。MiniCPM-V 4.7 35B-A3B 是 MiniCPM 系列首个采用混合专家(MoE)架构的模型,总参数量为 35B,每步推理激活约 3B 参数,在保有较大模型容量的同时,降低单步推理的计算开销,为更大规模模型在端侧部署提供新路径。

MoE 的核心在于“按需激活”。与稠密模型每步调用全部核心参数不同,MoE 通过路由机制选择部分专家模块参与计算,无需每次调动全部专家。相较于总参数规模相近的稠密模型,这一架构能够减少参与计算的参数量及相应的权重读取需求,让终端以更低的计算开销利用更大容量的模型。

软硬协同

推动多模态模型端侧部署

在能力方面,MiniCPM-V 4.7 35B-A3B 支持 256K 上下文,覆盖图像理解、文档与文字识别、图表推理、数学推理及视频理解等任务。模型引入前瞻专家调度(LES),提前预测并加载下一层所需专家,并根据预测命中情况调整层内专家计算顺序,提高专家加载与计算的并行度,减少访存等待;同时结合 DSpark 投机采样、ViT 内提前压缩及 4 倍/16 倍混合视觉 token 压缩等技术,进一步提升端侧运行效率。本次同步开源模型权重、推理代码和微调代码。

通过模型量化与部署优化,瑞芯微平台已实现该模型的文本、图像多模态能力支持。在本次端侧实测中,448×448 图像输入的视觉编码耗时为 154.3 ms,解码速度达到 27.86 tokens/s,为端侧图文理解与交互应用提供性能支撑。

此前,双方已完成 MiniCPM5-1B、MiniCPM5-2B 语言模型、MiniCPM-V 4.0 视觉语言模型及 MiniCPM-o 4.5 全模态模型的适配,覆盖 RK1820、单卡 RK1828 和双卡 RK1828 等部署方案,满足不同端侧 AI 应用需求。本次完成 MiniCPM-V 4.7 35B-A3B 的适配,进一步拓展了双方端侧模型合作的覆盖范围,为更大参数规模的 MoE 多模态模型在终端落地提供新选择。

瑞芯微 × 面壁智能

端侧模型合作持续深化

本次 Day-0 适配,是双方长期生态共建的又一次落地。借助完整的软硬件开发栈,开发者可以快速完成模型调优、二次开发与产品移植,助力终端厂商把端侧多模态 AI 能力快速转化为量产产品。

面向未来,瑞芯微将持续联合大模型伙伴,打磨端侧软硬协同方案,推动端侧 AI 从 Demo 走向规模化商用。

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。