ONNX Runtime 跨平台模型推理引擎

在多种硬件和系统上加速运行 ONNX 模型推理,也能加速训练

需要技术AI 整理,待开发者认领模型运行与部署
评分人数不足呦探分评分人数不足大众分评分方法
这个页面由 AI 根据官网公开信息整理,可能有错。产品团队可以认领后修改。 认领这个产品

这个项目只有源代码,需要会编程才能用。

星标
2.2万
GitHub 下载量
2628万
复刻
4393
主要语言
C++
许可证
MIT
最近更新
复制安装指令(给 AI 编程工具)

粘贴到 Codex、Claude Code、Cursor、Trae 等 AI 编程工具里,回车就会开始安装。第一次复制前请先阅读风险提示。

这些文件由项目作者放在 GitHub 上,本站不开发、不托管这些软件,也不检测其代码;国内访问 GitHub 可能较慢。使用前请阅读 第三方软件风险提示和项目的许可证。 数据更新于 2026/11/01 报告问题

介绍

ONNX Runtime 是微软开源的跨平台机器学习推理和训练加速器。它运行 ONNX 格式的模型,这些模型可以来自 PyTorch、TensorFlow/Keras,也可以来自 scikit-learn、LightGBM、XGBoost 等传统机器学习库。它会对计算图做优化,并按硬件情况调用 CPU、GPU 或 NPU 加速。

能做什么

  • 在服务器、桌面、手机和浏览器中运行 ONNX 模型推理
  • 为 PyTorch 训练 Transformer 模型提供多卡加速
  • 通过 onnxruntime-genai 在本地运行生成式模型和大语言模型

运行需要:Windows、Linux、macOS、Android、iOS 或浏览器环境;可用 Python(pip 安装 onnxruntime)、C++、C#、Java、JavaScript 等语言调用。

这段介绍由 AI 根据项目的公开说明整理,可能有疏漏,以项目主页为准。

评测

0 条评测

还没有评测。用过的话,来写第一条吧。

写评测