评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理，可能有错。产品团队可以认领后修改。 认领这个产品
这个项目只有源代码，需要会编程才能用。
- 星标
- 4.1万
- 复刻
- 4247
- 主要语言
- Jupyter Notebook
- 许可证
- Apache-2.0
- 最近更新
复制安装指令（给 AI 编程工具）
粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里，回车就会开始安装。第一次复制前请先阅读风险提示。
这些文件由项目作者放在 GitHub 上，本站不开发、不托管这些软件，也不检测其代码；国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题
介绍
AirLLM 是由 Gavin Li 开发的 Python 推理库，通过逐层加载的方式在显存有限的显卡上运行大语言模型：推理时只把当前一层放入显存，所需显存取决于单层大小而非整个模型。README 称无需量化、蒸馏或剪枝，即可在 4GB 显卡上运行 70B 模型。
能做什么
- 加载 Llama、Qwen、DeepSeek、ChatGLM、Yi 等常见开源模型
- 可选 4 位或 8 位分块压缩，以加快推理速度
- 显存不足时逐层加载冻结权重，只把适配器放在显卡上进行训练
运行需要：Python 和 pip，通常为带 CUDA 的 NVIDIA 显卡（macOS 仅支持 Apple 芯片）；需要较大的磁盘空间存放拆分后的模型，推理速度受磁盘读取限制。模型可从 Hugging Face 下载或使用本地路径，受限模型需 Hugging Face 令牌。
这段介绍由 AI 根据项目的公开说明整理，可能有疏漏，以项目主页为准。
评测
0 条评测还没有评测。用过的话，来写第一条吧。
写评测