MiniMind 从零训练小模型

教你从零开始训练一个小型语言模型的开源教学项目

打开就用AI 整理,待开发者认领训练与微调
评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理,可能有错。产品团队可以认领后修改。 认领这个产品
星标
6.5万
复刻
8465
主要语言
Python
许可证
Apache-2.0
最近更新
复制安装指令(给 AI 编程工具)

粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里,回车就会开始安装。第一次复制前请先阅读风险提示。

这些文件由项目作者放在 GitHub 上,本站不开发、不托管这些软件,也不检测其代码;国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题

介绍

MiniMind 是一个从零训练小型语言模型的开源项目,模型规模约 6400 万参数。代码用原生 PyTorch 编写,包含分词器训练、模型结构和完整的训练脚本,适合想弄清大模型内部原理、而不只是微调现成模型的学习者和个人开发者。

作者的参考配置是单张 RTX 3090,走精简路线完成预训练加监督微调约需两小时。训练好的模型发布在 ModelScope 和 Hugging Face 上。

能做什么

  • 依次实践预训练、SFT、LoRA、蒸馏、DPO 和强化学习
  • 提供稠密和 MoE 两种模型结构
  • 用脚本或 Streamlit 网页与模型对话,也可接入 Ollama、vLLM

运行需要:Python 与 PyTorch;训练建议使用 NVIDIA 显卡,CPU 或 Mac 也能运行,但速度和兼容性差别较大

这段介绍由 AI 根据项目的公开说明整理,可能有疏漏,以项目主页为准。

评测

0 条评测

还没有评测。用过的话,来写第一条吧。

写评测