MLC LLM 跨平台大模型部署

MLC LLM 是 MLC 团队开源的大语言模型编译与部署引擎，基于 TVM 等机器学习编译技术，为不同硬件生成优化后的模型运行代码。它的推理引擎 MLCEngine 可在 Linux、Windows、macOS、iOS、Android 和网页浏览器中运行，并提供兼容 OpenAI 的接口。

能做什么

• 把开源大模型编译并部署到多种 GPU 和设备上
• 启动兼容 OpenAI 的 REST 服务，供其他程序调用
• 通过 Python、JavaScript、iOS 和 Android 接口把模型嵌入应用

运行需要：Python（建议用 conda），用 pip 安装预编译包，或用 CMake 从源码编译；电脑 GPU 可用 CUDA、ROCm、Vulkan 或 Metal，手机用 Metal 或 OpenCL，浏览器用 WebGPU。