Colossal-AI 大模型分布式训练

用多种并行策略在多张显卡上训练和推理大模型,降低显存占用

需要技术AI 整理,待开发者认领训练与微调
评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理,可能有错。产品团队可以认领后修改。 认领这个产品

这个项目只有源代码,需要会编程才能用。

星标
4.1万
复刻
4485
主要语言
Python
许可证
Apache-2.0
最近更新
复制安装指令(给 AI 编程工具)

粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里,回车就会开始安装。第一次复制前请先阅读风险提示。

这些文件由项目作者放在 GitHub 上,本站不开发、不托管这些软件,也不检测其代码;国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题

介绍

Colossal-AI 是 HPC-AI Tech(潞晨科技)维护的开源深度学习系统,用于大模型的分布式训练和推理。它提供数据并行、流水线并行、多维张量并行、序列并行、ZeRO 和自动并行等策略,以及异构内存管理,只需少量代码改动即可把单卡训练扩展到多卡多机。项目附有 LLaMA、MoE、GPT、BERT、ViT 等模型的训练示例。

能做什么

  • 在多张 GPU 上并行训练和微调大模型
  • 通过异构内存管理降低训练所需显存
  • 用 Colossal-Inference 等组件部署大模型推理

运行需要:Linux、Python 3.7 及以上、PyTorch 2.2 及以上、CUDA 11.0 及以上,以及计算能力 7.0 及以上的 NVIDIA 显卡;也可使用 Docker 镜像。

这段介绍由 AI 根据项目的公开说明整理,可能有疏漏,以项目主页为准。

评测

0 条评测

还没有评测。用过的话,来写第一条吧。

写评测