SGLang 大模型推理服务

部署大语言模型、多模态模型和扩散模型的推理服务框架

需要技术AI 整理,待开发者认领模型运行与部署
评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理,可能有错。产品团队可以认领后修改。 认领这个产品

这个项目只有源代码,需要会编程才能用。

星标
3.8万
复刻
1万
主要语言
Python
许可证
Apache-2.0
最近更新
复制安装指令(给 AI 编程工具)

粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里,回车就会开始安装。第一次复制前请先阅读风险提示。

这些文件由项目作者放在 GitHub 上,本站不开发、不托管这些软件,也不检测其代码;国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题

介绍

SGLang 是由非营利开源组织 LMSYS 托管的推理服务框架,用于部署大语言模型、视觉语言模型和扩散模型,面向智能体应用、大规模线上服务和强化学习训练中的推理生成等场景。内置的 SGLang Diffusion 引擎可用于图像和视频生成。

能做什么

  • 部署 Qwen、DeepSeek、GLM、Llama 等开源模型的推理服务
  • 在多种硬件上运行,包括 NVIDIA 与 AMD GPU、Google TPU、华为昇腾 NPU 和 Intel CPU 等
  • 为图像和视频生成模型提供推理服务

运行需要:Python 环境(pip/uv 安装)或 Docker 镜像;需要 GPU、NPU 等加速硬件及足以容纳模型的显存;模型权重需自行下载。

这段介绍由 AI 根据项目的公开说明整理,可能有疏漏,以项目主页为准。

评测

0 条评测

还没有评测。用过的话,来写第一条吧。

写评测