oMLX Mac 本地推理服务

在苹果芯片 Mac 上运行本地大模型,并从菜单栏管理推理服务

下载安装AI 整理,待开发者认领模型运行与部署
评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理,可能有错。产品团队可以认领后修改。 认领这个产品
星标
2.3万
GitHub 下载量
75.9万
复刻
2083
主要语言
Python
许可证
Apache-2.0
最近更新
复制安装指令(给 AI 编程工具)

粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里,回车就会开始安装。第一次复制前请先阅读风险提示。

这些文件由项目作者放在 GitHub 上,本站不开发、不托管这些软件,也不检测其代码;国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题

介绍

oMLX 是面向 Apple Silicon Mac 的大模型推理服务器,基于 MLX,由开发者 jundot 维护。它带有原生菜单栏应用和网页管理面板,可同时加载多个模型,用连续批处理应对并发请求,并把 KV 缓存分为内存和 SSD 两层,重启后也能复用。

能做什么

  • 在本机运行 mlx-lm 支持的大模型,以及视觉语言、OCR、向量和重排序模型
  • 提供兼容 OpenAI 和 Anthropic 的接口,供编程工具等应用调用
  • 在面板中下载 Hugging Face 模型、管理模型、聊天和跑基准测试

运行需要:搭载 M1 或更新芯片的 Mac,macOS 15 或更高版本,内存需足以容纳所选模型;可安装 DMG 应用,或用 Homebrew、pip(Python 3.11–3.13)安装。

这段介绍由 AI 根据项目的公开说明整理,可能有疏漏,以项目主页为准。

评测

0 条评测

还没有评测。用过的话,来写第一条吧。

写评测