DeepSpeed 大模型训练加速

DeepSpeed 是一个基于 PyTorch 的深度学习优化库，用来解决大模型在多卡、多机上训练和推理时的显存与并行问题。它是微软 AI at Scale 计划的一部分，以 Python 包形式发布，不依赖托管服务。

它适合训练或微调大模型的研究人员和工程师，可与 Hugging Face Transformers、Lightning 等工具配合。它在 NVIDIA 和 AMD GPU 上测试最充分，也部分支持华为昇腾、Intel Gaudi 等硬件。

能做什么

• 用 ZeRO 系列技术切分优化器状态、梯度和参数，降低单卡显存占用
• 组合数据、流水线、张量和序列并行，支持混合专家（MoE）模型
• 把数据卸载到 CPU 内存或 NVMe 硬盘，并提供压缩与量化工具

运行需要：Python 和 PyTorch，NVIDIA 或 AMD GPU 等加速卡，以及 CUDA 或 ROCm 编译器。