从跨域纳管到分离式推理：北京大学依托昇腾实现大模型推理吞吐提升近2倍

大模型推理正面临双重挑战，一方面，自主智能算力多地分散部署、异构共存，缺乏统一纳管，静态资源分配导致利用率与服务质量难以兼得；另一方面，推理负载中预填充（Prefill）与解码（Decode）两阶段计算特征差异显著——前者算力密集、后者访存密集，单体部署造成资源耦合，两阶段互相拖累。在北京大学 鲲鹏昇腾科教创新卓越中心支持下，北京大学计算机学院刘譞哲教授团队提出面向昇腾智能算力集群的分布式跨域纳管与分离式推理技术方案，在8张昇腾加速卡上运行DeepSeek-R1-Distill-Qwen-32B（320亿参数）推理任务，词元级吞吐较常规方案提升约1.9倍、输出词元吞吐提升约1.5倍。刘譞哲老师团队是最早提出大模型PD分离式推理概念的团队之一，相关昇腾推理系统在2024年已开源，是国际上较早支持异构混合算力的分离式推理的开源项目。

图1 面向昇腾智能算力集群的技术方案整体架构

该方案成果包含异构算力跨域统一纳管的架构创新设计、需求感知弹性调度机制和昇腾分离式推断加速三项关键技术。

针对多地多集群的异构算力长期处于"孤岛"状态、难以集中管理的问题，团队基于Kubernetes构建了跨域统一纳管架构，将分散在不同地域、不同集群的昇腾算力纳入统一资源池，实现资源池化、统一监控与全局视图，并支持昇腾等异构资源混合纳管。

同时，传统算力分配以静态配额为主，面对大模型推理负载的剧烈波动，要么资源闲置、要么请求积压。团队设计的需求感知弹性调度机制，实时感知资源状态与任务特征（如请求长度分布、并发强度），动态调整算力分配与预填充／解码实例配比，在负载波动下同时保障资源利用率与服务等级目标（SLO）。

在大模型推理环节，团队研发了面向昇腾NPU的分离式推理框架：基于vLLM Ascend将预填充与解码两阶段拆分部署、独立扩缩、协同调度，并实现阶段间KV Cache的高效迁移，使传输开销远低于分离带来的收益，分离部署后仍保持接近整机协同的推理效率。

在8张昇腾加速卡上，分离配置采用1个预填充实例（TP4）与2个解码实例（TP2），使两阶段资源配比与各自负载特征精确匹配。实测运行DeepSeek-R1-Distill-Qwen-32B推理任务，相较常规单体方案（同卡数vLLM TP=8部署）：词元级吞吐提升约1.9倍，输出词元吞吐提升约1.5倍。

图2 相对常规方案（1.0×）的词元级吞吐与输出词元吞吐提升倍数

该方案基于昇腾软硬件体系实现，是对昇腾集群能力的系统性验证。在设备与集群层面，昇腾的设备管理与集群调度能力支撑异构算力的统一纳管与灵活调度；在计算架构层面，昇腾异构计算架构CANN为算子执行与运行时监控提供底层支撑；在推理引擎层面，vLLM Ascend为分离式推理框架的部署与协同调度奠定基础。其中，跨域纳管验证了昇腾集群具备规模化统一运营能力，分离式推理验证了昇腾NPU可承载生产级大模型推理负载。三项关键技术共同表明，昇腾平台已构建起支撑生产级大模型推理的完整软件栈能力。

欢迎社区开发者试用、反馈与共建。未来，在北京大学 鲲鹏昇腾科教创新卓越中心支持下，团队将持续完善跨域纳管与分离式推理能力，推动成果向更大规模昇腾算力集群落地，为自主算力生态的高质量发展提供支撑。

◆往期推荐◆

华为携手哈尔滨工业大学（深圳）设立“华为计算硬件专项”，共育算力硬件卓越工程师

GitHub开源链接如下