模型运行与部署

GitHub 上的 AI 开源项目，按星标数从高到低排列。星标是 GitHub 用户的收藏数，不是本站评分。

1. 1O
   Ollama 本地运行大模型

   AI 生成一条命令就能在自己电脑上下载并运行 Qwen、DeepSeek 等开源大模型

   下载安装 / 模型运行与部署 / 开源 / 等你来评
   ★ 18.6万星标
2. 2L
   LiteLLM 大模型统一网关

   AI 生成用一套 OpenAI 格式的接口调用上百家模型服务的开源网关

   打开就用 / 模型运行与部署 / 开源 / 等你来评
   ★ 6.2万星标
3. 3L
   LocalAI 本地 AI 服务

   AI 生成在自己的电脑或服务器上运行文本、语音、图像模型，兼容 OpenAI 接口

   打开就用 / 模型运行与部署 / 开源 / 等你来评
   ★ 5万星标
4. 4J
   Jan 离线 AI 聊天

   AI 生成在自己电脑上离线运行大模型聊天的开源桌面应用

   下载安装 / 模型运行与部署 / 开源 / 等你来评
   ★ 4.5万星标
5. 5O
   oMLX Mac 本地推理服务

   AI 生成在苹果芯片 Mac 上运行本地大模型，并从菜单栏管理推理服务

   下载安装 / 模型运行与部署 / 开源 / 等你来评
   ★ 2.3万星标