用于非通用执行程序运行 ONNX Runtime 的 Python 项目,包含对应执行程序所需的系统级依赖,可加速 ONNX 模型推理。
考虑到官方提供的专门用于运行 OpenVINO Execution Provider 的镜像已不再更新,最新的 openvino/onnxruntime_ep_ubuntu20 镜像 OpenVINO 版本为2024.1.0,而目前持续更新的 openvino/ubuntu24_runtime 镜像是为使用完整的 OpenVINO SDK 而设计的,太过庞大和复杂,我决定自己构建专门用于运行 OpenVINO Execution Provider 的镜像。
根据官方文档中的描述,onnxruntime-openvino Python 包已经包含了预构建的 OpenVINO 的核心运行时库,没有特殊需求的话不用自己构建 wheel 包,也不用单独安装 OpenVINO. 因此,只需要在操作系统层面安装推理设备所需的驱动就可以了,确保 Python 包里的 OpenVINO 库能与硬件通信,比如使用 GPU 推理就需要安装 Intel Compute Runtime 和 Intel Graphics Compiler (IGC) 等驱动,具体安装哪些、什么版本的驱动可以参考 OpenVINO™ toolkit Dockerfiles.
镜像名称: docker.cnb.cool/rainy-nook/runtime-images/onnxruntime-py-openvino
对应 Python 包版本: onnxruntime-openvino 1.22.0
| 标签 | 基础镜像 | Python 版本 | 支持设备 | 依赖参考 |
|---|---|---|---|---|
2025.1.0-py312, 2025.1.0-py312-noble, latest | Ubuntu 24.04 | 3.12 | CPU、GPU | Dockerfile | Compute Runtime |