Day0迁移、一键部署，华为昇思MindSpore成大模型开发热门“万能钥匙”

### 开源框架昇思MindSpore：AI大模型时代的高效解决方案

在当今AI大模型快速发展的时代，行业已经达成共识：没有任何一个单一的大模型能够一统天下。面对众多日新月异的主流大模型和AI技术，开发者们常常面临如何在一个统一的框架或生态中进行体验的问题。这无疑成为了开发者的“老大难”问题。

那么，有没有一种快速、高效且便捷的解决办法呢？答案是肯定的——华为开源的昇思MindSpore正是为此而生。

#### 主流SOTA大模型的“搬家”：训练Day0迁移

昇思MindSpore通过极少的代码改动，实现了主流SOTA大模型的无缝迁移。具体来说，只需对代码进行极小量的调整，即可保证模型的精度和性能不受影响。例如，在推理部署方面，昇思MindSpore支持一键部署，整个训练转推理的过程实现全流程自动化。目前，已有20多个主流大模型可以在开箱即用的状态下运行，百亿参数模型加载时间更是缩短至不到30秒。

昇思MindSpore的技术架构如图所示，展示了其快速迁移解决方案的核心逻辑：


#### 迁移DeepSeek-V3：改4行代码即可完成

为了实现大模型迁移的无感知化，昇思MindSpore推出了“翻译神器”——MSAdapter。这一工具可以将其他框架的代码自动转换为MindSpore可识别的语言，从而实现“零损耗”迁移。例如，对于PyTorch编写的训练脚本，可以直接在MindSpore中运行，动态图体验与原框架几乎一致，95%以上的接口都能自动转换，迁移过程中的性能损失几乎可以忽略不计。

在背后支撑这一切的是昇思MindSpore的多项核心技术：

1. **动态图多级流水**：将算子（模型的基本计算单元）的处理拆分为四个阶段（如Python转换、形状推导等），并通过多核并行处理，速度提升3-4倍。
2. **JIT编译**：将常用代码打包为高效执行模块，既保持了灵活编程的能力，又提升了性能。
3. **自动策略寻优**：大模型训练需要选择最佳并行策略（如数据并行、张量并行等）。传统方法依赖专家经验，而MindSpore可以通过自动搜索找到最优方案。例如，在DeepSeek-V3的训练中，性能提升了9.5%。
4. **执行序比对**：大模型训练中可能出现因算子执行顺序不同而导致的精度问题。MindSpore能够自动比对执行顺序，快速定位差异，避免人工排查几十万算子的繁琐工作。

以DeepSeek-V3为例，其代码改动量非常少：

– Shell脚本：仅需修改分布式任务启动相关参数，涉及4行代码调整。
– Python脚本：变更量占比小于1%，且已通过代码补丁工具自动完成修改。

最终，不仅在精度上可以实现Day0对齐，而且在保持并行策略一致的情况下叠加MindSpore自研增量特性后，性能还能进一步提升5%。

#### HuggingFace模型的一键部署

在推理部署方面，昇思MindSpore通过vLLM-MindSpore插件，能够让HuggingFace模型在半小时内完成部署并上线。具体流程如下：

1. **直接使用HuggingFace权重**：无需转换格式，直接加载HuggingFace的模型权重，并通过vLLM-MindSpore插件在几分钟内将模型转化为可提供服务的状态。
2. **模型即拿即用**：支持多种业内常用模型，如DeepSeek、Pangu、Qwen等，目前已上线20多个模型。
3. **减少启动延迟**：权重加载时间减少了80%（百亿参数模型加载时间不到30秒），图编译延迟压缩到毫秒级别。

从实际测试效果来看，以Pangu Pro MoE 72B为例，使用vLLM和MindSpore在Atlas 800I A2上部署推理服务时，当前在时延小于100ms的情况下，单卡增量吞吐可达每秒1020tokens，在Atlas 300I Pro上可达每秒130tokens。

#### 总结

昇思MindSpore以其强大的功能和高效的性能，为开发者提供了“训练Day0迁移、推理一键部署”的一站式解决方案。无论是主流SOTA大模型的迁移，还是HuggingFace模型的快速部署，昇思MindSpore都展现出了卓越的技术实力和用户体验。

了解更多详情，请访问以下技术报告地址：

[技术报告地址](https://gitcode.com/ascend-tribe/ascend-cluster-infra/blob/main/MindSpore/ascend-cluster-infra-mindspore.md)