评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理，可能有错。产品团队可以认领后修改。 认领这个产品
这个项目只有源代码，需要会编程才能用。
- 星标
- 9.6万
- GitHub 下载量
- 492.5万
- 复刻
- 2.4万
- 主要语言
- Python
- 许可证
- Apache-2.0
- 最近更新
复制安装指令（给 AI 编程工具）
粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里，回车就会开始安装。第一次复制前请先阅读风险提示。
这些文件由项目作者放在 GitHub 上，本站不开发、不托管这些软件，也不检测其代码；国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题
介绍
vLLM 是用于大语言模型推理和服务部署的开源库，起源于加州大学伯克利分校的 Sky Computing Lab，现由学界和业界的社区共同维护。它用 PagedAttention 管理注意力缓存，并结合连续批处理、前缀缓存等手段提升吞吐。
它适合要在本机或服务器上部署模型并对外提供接口的团队，内置兼容 OpenAI 的 API 服务，也支持 Anthropic Messages 接口和 gRPC。
能做什么
- 运行 Llama、Qwen、Gemma、DeepSeek 等多种模型，含多模态和嵌入模型
- 支持 FP8、INT4、GPTQ、AWQ、GGUF 等量化格式和推测解码
- 通过张量、流水线、专家并行等方式进行分布式推理
运行需要：Python 环境，用 pip 或 uv 安装；NVIDIA、AMD、Intel GPU 或 CPU，另有插件支持昇腾、TPU 等硬件
这段介绍由 AI 根据项目的公开说明整理，可能有疏漏，以项目主页为准。
评测
0 条评测还没有评测。用过的话，来写第一条吧。
写评测