AI 软件

• llama.cpp 可用 可用 qemu-riscv64 -cpu max,vlen=256 运行上游构建；SpacemiT 文档给出完整 qemu 跑 llama-cli 的命令。仅功能验证，速度无参考意义。 github.comraw.githubusercontent.com
• onnxruntime 部分可用 build_riscv64.sh 依赖 qemu 做交叉编译产物验证；可跑但极慢。 raw.githubusercontent.com
• pytorch 部分可用 RISE 轮子明确说明「非 QEMU 构建」，qemu 下仅能验证功能。 riseproject.dev
• opencv 可用 模拟环境可运行，无性能意义。 github.com
• ncnn 可用 CI 在 riscv64 上跑通。 github.com

NPU / 加速器无（纯模拟）

仅用于无硬件时验证编译与功能，不能作为性能依据。

• llama.cpp 未找到公开证据 未找到 Unmatched 专项公开实测；上游仅提供源码（release 无 riscv64 二进制），U74 无 RVV，只能走标量路径，预期很慢。 github.comgithub.com
• onnxruntime 部分可用 上游含 MLAS RVV kernel 与 tools/scripts/build_riscv64.sh（SiFive 贡献），但无 riscv64 预编译包，需自行交叉编译；RVV kernel 面向 RVV 1.0。 raw.githubusercontent.comgithub.com
• pytorch 部分可用 PyPI 无 riscv64 轮子；RISE 提供 torch 2.13.0 manylinux_2_39_riscv64 轮子（需 glibc≥2.39，如 Ubuntu 24.04/Bianbu）。 riseproject.devpypi.riseproject.dev
• opencv 可用 上游 4.x 支持 RISC-V 与 RVV HAL；多数发行版可装或用 RVV 后端自编译。未逐板做性能验证。 github.com
• ncnn 部分可用 上游有 linux-riscv64 CI 与 RVV 实现；U74 无 RVV，ncnn 只能标量跑。 github.comgithub.com
• tengine 部分可用 tengine-lite 提供 risc-v/lp64dv 的 RVV 卷积 kernel 与 rv64-c906 工具链，仅部分算子优化，属实验性支持。 raw.githubusercontent.comgithub.com

NPU / 加速器无 NPU

ruyi 提供 OpenBSD/Ubuntu/openKylin/openWrt 镜像，生态老牌但无 AI 加速单元。

• llama.cpp 部分可用 社区可编译运行，但 issue #14926 报告在 VF2 上出现 Illegal instruction，需正确设置 RVV/CPU 编译参数；无 V 扩展，纯标量推理，速度很低。 github.comgithub.com
• onnxruntime 部分可用 上游含 MLAS RVV kernel 与 tools/scripts/build_riscv64.sh（SiFive 贡献），但无 riscv64 预编译包，需自行交叉编译；RVV kernel 面向 RVV 1.0。 raw.githubusercontent.comgithub.com
• pytorch 部分可用 PyPI 无 riscv64 轮子；RISE 提供 torch 2.13.0 manylinux_2_39_riscv64 轮子（需 glibc≥2.39，如 Ubuntu 24.04/Bianbu）。 riseproject.devpypi.riseproject.dev
• opencv 可用 上游 4.x 支持 RISC-V 与 RVV HAL；多数发行版可装或用 RVV 后端自编译。未逐板做性能验证。 github.com
• ncnn 部分可用 上游有 linux-riscv64 CI 与 RVV 实现；JH7110 无 RVV，ncnn 标量运行。 github.comgithub.com
• tengine 部分可用 tengine-lite 提供 risc-v/lp64dv 的 RVV 卷积 kernel 与 rv64-c906 工具链，仅部分算子优化，属实验性支持。 raw.githubusercontent.comgithub.com

NPU / 加速器无 NPU（仅有 GPU/视频编解码）

最成熟的入门板之一（ruyi 提供 Armbian/openEIC/OpenBSD 镜像），但 SoC 无向量扩展，LLM 只能「能跑、很慢」。

• llama.cpp 可用 Sipeed 官方 wiki 有 llama.cpp 章节：7B 模型约 6s/token（未用 V 扩展）。C910 是 RVV 0.7.1，上游 RVV 1.0 优化路径用不上，只能标量。 raw.githubusercontent.comgithub.com
• onnxruntime 部分可用 上游 riscv64 构建的 MLAS RVV kernel 面向 RVV 1.0，TH1520 的 0.7.1 向量无法直接用，需退回标量。 raw.githubusercontent.com
• pytorch 部分可用 RISE 轮子要求 glibc≥2.39 且为 RVV 1.0 优化路径；RevyOS/Debian 上可装但无向量加速。 riseproject.dev
• opencv 可用 常规可用；RVV HAL 对 0.7.1 支持有限。 github.com
• ncnn 部分可用 可编译，RVV 优化面向 1.0，0.7.1 上退化为标量。 github.com
• tengine 部分可用 tengine-lite 自带 rv64-c906 toolchain 与 RVV 卷积 kernel，正是为 C906/C910 这类 0.7.1 核准备的，但仅覆盖部分算子。 github.com
• npu-sdk (HHB) 部分可用 官方 wiki 给出 NPU 流程：T-Head HHB 编译器把 ONNX 编译成 NPU 可执行文件（int8/int16 定点），需专用 docker 镜像；闭源工具链，且只支持定点，不适合 LLM。 raw.githubusercontent.com

NPU / 加速器4 TOPS@INT8，仅厂商闭源 HHB 工具链（int8/int16 定点），无上游开源驱动

CPU 跑 LLM 可行但慢（~6s/token）；NPU 只走 T-Head 闭源 HHB，不能跑 Transformer LLM。

• llama.cpp 部分可用 与 LicheePi 4A 同为 TH1520，RevyOS 官方支持该板；llama.cpp 走同一 0.7.1 向量/标量路径（LPi4A 实测约 6s/token）。未找到 Meles 专项公开 benchmark。 milkv.ioraw.githubusercontent.comrevyos.github.io
• onnxruntime 部分可用 同 TH1520：上游 RVV kernel 面向 1.0，此处退化标量。 raw.githubusercontent.com
• pytorch 部分可用 可装 RISE 轮子（RevyOS 基于 Debian），无向量加速。 riseproject.dev
• opencv 可用 常规可用。 github.com
• ncnn 部分可用 可编译，RVV 优化在 0.7.1 上退化。 github.com
• tengine 部分可用 rv64-c906 工具链适配该类核，仅部分算子。 github.com
• npu-sdk (HHB) 部分可用 Milk-V 官方规格确认 4TOPS@INT8 NPU 支持 TensorFlow/ONNX/Caffe，但走 T-Head 闭源工具链，无开源驱动。 milkv.io

NPU / 加速器4 TOPS@INT8（TH1520），闭源 HHB 工具链

ruyi 可直接刷 RevyOS（含 4G/8G/16G uboot 包）；AI 现状与 LPi4A 一致。

• llama.cpp 可用 上游 llama.cpp 官方文档专章 build-riscv64-spacemit.md：A100 走 RISCV64_SPACEMIT_IME2，实测 qwen3 0.6B Q4_0 达 pp128 565.8 / tg128 55.8 t/s，qwen3 4B Q4_0 达 pp128 79.7 / tg128 11.3 t/s（8 线程）。 raw.githubusercontent.com
• spacemit-llama.cpp (厂商) 可用 SpacemiT 提供预编译 spacemit-llama.cpp.riscv64（已到 0.0.9），配 archive.spacemit.com 模型库；Bit-Brick 文档给出 llama-cli/llama-server 用法。 archive.spacemit.comdocs.bit-brick.com
• onnxruntime 可用 RVV 1.0 核可吃满上游 MLAS RVV kernel，需自行编译。 raw.githubusercontent.com
• pytorch 可用 Bianbu 等 glibc≥2.39 的发行版可直接装 RISE 的 torch 2.13.0 riscv64 轮子（轮子为 manylinux_2_39_riscv64）。 riseproject.devpypi.riseproject.dev
• opencv 可用 RVV 1.0 + RVV HAL，属最佳组合。 github.com
• ncnn 可用 RVV 1.0，上游 CI 覆盖。 github.comgithub.com
• tengine 部分可用 可用，但优化针对 0.7.1 C906，1.0 上收益有限。 github.com
• spacemit-ai-sdk 可用 archive.spacemit.com/spacemit-ai/ 提供 ModelZoo、llama.cpp、localai、dify 等制品，是当前 RISC-V 上最完整的厂商 AI 栈之一。 archive.spacemit.com

NPU / 加速器K3 主打 CPU+AI 核（SpacemiT IME 扩展），无独立通用 NPU 编程模型；加速走 SpacemiT 私有指令与 AI SDK

目前 RISC-V SBC 里 AI 软件栈最完整的一档：上游 llama.cpp 直接内置其 kernel。

• llama.cpp 未找到公开证据 未找到 A210 上 llama.cpp 的公开实测；C920 为 RVV 0.7.1，上游 1.0 优化路径不可用。 cnx-software.com
• onnxruntime 未找到公开证据 未找到该板公开证据（芯片较新，2026 年才 upstream 支持）。 raw.githubusercontent.com
• pytorch 未找到公开证据 未找到该板公开证据。 riseproject.dev
• opencv 部分可用 RVV 0.7.1，仅标量/有限向量路径；未见该板实测。 github.com
• ncnn 未找到公开证据 未找到该板公开证据。 github.com
• tengine 未找到公开证据 未找到该板公开证据。 github.com
• torq-toolkit (厂商) 部分可用 CNX 报道：官方 Linux SDK + TORQ-Toolkit 做模型转换与部署，NPU 支持 INT4/INT8/INT16/FP8/FP16/BF16，宣称 DeepSeek-7B 达 8 tok/s；工具链闭源、文档未公开可得。 cnx-software.com

NPU / 加速器12 TOPS@INT8（支持 FP16/BF16/FP8），走厂商 TORQ-Toolkit 闭源工具链

ruyi 已提供 zhihe-a210 的 Debian/buildroot 镜像，但 AI 侧只有厂商宣称，缺公开可复现实测。

• llama.cpp 未找到公开证据 K230 面向视觉推理（KPU），未找到 llama.cpp 公开实测；内存 512MB/1GB 级，LLM 不现实。 kendryte.com
• onnxruntime 未找到公开证据 未找到公开证据（官方主推 nncase）。 kendryte.com
• pytorch 未找到公开证据 未找到公开证据；训练侧不适用。 kendryte.com
• opencv 可用 CanMV/K230 SDK 自带图像处理与摄像头链路，OpenCV 风格 API 可用。 kendryte.com
• ncnn 未找到公开证据 未找到公开证据。 kendryte.com
• nncase + KPU 可用 kendryte/nncase 是官方开源深度学习编译器，把 ONNX/TFLite 编译为 KPU kmodel；K230 SDK 文档给出完整 AI 开发流程。 github.comkendryte.com

NPU / 加速器KPU（约 1 TOPS 级），经 nncase 编译 kmodel，驱动为厂商 SDK（非上游）

典型的「视觉 AI 很强、LLM 不适合」的板：nncase 开源，但运行时仍绑定厂商 SDK。

• llama.cpp 未找到公开证据 P550 无 RVV，未找到 Megrez 上 llama.cpp 的公开实测；官方 AI 路径是 NPU 而非 CPU。 milkv.io
• onnxruntime 未找到公开证据 未找到公开证据。 milkv.io
• pytorch 未找到公开证据 未找到公开证据。 milkv.io
• opencv 部分可用 无 RVV，标量路径；RockOS 可装但无公开 benchmark。 github.com
• ncnn 未找到公开证据 未找到公开证据。 github.com
• ennp-sdk (厂商) 可用 ESWIN ENNP 平台（闭源）提供 EsQuant 量化、EsAAC 编译、EsSimulator 仿真；官方 runtime sample 直接给出 Qwen2 与 DeepSeek-R1 在 NPU 上的示例（apt install es-sdk-sample-npu-qwen，模型 ZIFENG278/Qwen2-0.5B_ENNP）。 milkv.iomilkv.io

NPU / 加速器19.95 TOPS@INT8（INT16/FP16），闭源 ENNP SDK，但官方提供 Qwen2/DeepSeek-R1 样例

RISC-V 上少见的「NPU 能跑 LLM 且厂商给了样例」的板；代价是完全绑定 ESWIN 闭源栈。

• llama.cpp 未找到公开证据 未找到 Titan 上 llama.cpp 的公开实测；板子新、出货少。 milkv.io
• onnxruntime 未找到公开证据 未找到公开证据。 milkv.io
• pytorch 未找到公开证据 未找到公开证据。 milkv.io
• opencv 部分可用 无 RVV，标量路径；无公开实测。 milkv.io
• ncnn 未找到公开证据 未找到公开证据。 milkv.io

NPU / 加速器无板载 NPU；官方定位是靠 PCIe Gen4 x16 插独显/AI 加速卡

Mini-ITX 工作站定位（双 DDR4 ECC 最高 64GB、BMC），AI 要靠外接 PCIe 卡——但目前没有 RISC-V 上可用的公开 GPU/NPU 驱动栈证据。

• llama.cpp 可用 arXiv 2503.17422 (V-Seek) 在 SG2042 上做 LLM 推理优化：DeepSeek R1 Distill Llama 8B / QWEN 14B 达 4.32 / 2.29 token/s 生成、6.54 / 3.68 token/s prefill。Milk-V 官方另有 InferLLM 文档。 arxiv.orgmilkv.io
• onnxruntime 部分可用 64 核可并行，但 RVV 0.7.1 无法用上游 1.0 kernel。 raw.githubusercontent.com
• pytorch 部分可用 可装 RISE 轮子；无 0.7.1 向量加速。 riseproject.dev
• opencv 可用 多核标量可用。 github.com
• ncnn 部分可用 可编译，0.7.1 上退化标量。 github.com
• tengine 部分可用 rv64-c906 kernel 适配 0.7.1，仅部分算子。 github.com
• inferllm 可用 Milk-V 官方文档提供 InferLLM（MegEngine）在 Pioneer 上的部署说明。 milkv.io

NPU / 加速器无 NPU（纯 64 核 CPU）

唯一有大内存（最高 128GB）+ 64 核的 RISC-V 板，能跑 70B 级模型（内存够），但吞吐只有个位数 token/s。

• llama.cpp 可用 X60 与 BPI-F3 同核，上游 build-riscv64-spacemit.md 给出 X60 实测表（qwen3 0.6B Q4_0: pp128 49.15 / tg128 11.73 t/s）；另有 Orange Pi RV2 上的 llama.cpp 实验仓库。 raw.githubusercontent.comgithub.com
• spacemit-llama.cpp (厂商) 可用 可用 SpacemiT 预编译包（K1 同源）。 archive.spacemit.com
• onnxruntime 可用 RVV 1.0，上游 kernel 可用。 raw.githubusercontent.com
• pytorch 部分可用 glibc≥2.39（如 Ubuntu 24.04 / 新版 Armbian）可装 RISE 轮子；旧镜像 glibc 不足。 riseproject.dev
• opencv 可用 RVV 1.0 + RVV HAL。 github.com
• ncnn 可用 RVV 1.0，上游 CI 覆盖。 github.comgithub.com
• tengine 部分可用 可用，优化非 1.0 专用。 github.com

NPU / 加速器无独立 NPU（K1 的 AI 能力走 SpacemiT 私有向量/AI 扩展）

ruyi 提供 armbian-orangepi-rv2-minimal 镜像；性价比最高的「能真跑 LLM」的板之一。

• llama.cpp 可用 上游 llama.cpp 官方 riscv64-spacemit 文档给出 X60（K1）实测表与量化支持矩阵（Q4_0/Q4_1/Q4_K/Q8_0 可用）；Bit-Brick 官方文档给出 Bianbu 上的完整用法。 raw.githubusercontent.comdocs.bit-brick.com
• spacemit-llama.cpp (厂商) 可用 SpacemiT 预编译 spacemit-llama.cpp.riscv64.0.0.4+（archive 上已到 0.0.9），支持 llama-cli / llama-server / OpenAI 兼容 API。 archive.spacemit.comdocs.bit-brick.com
• onnxruntime 可用 RVV 1.0，上游 MLAS RVV kernel 可用（需自编译）。 raw.githubusercontent.com
• pytorch 可用 Bianbu 等 glibc≥2.39 发行版可装 RISE torch 2.13.0 riscv64 轮子（manylinux_2_39_riscv64）。 riseproject.devpypi.riseproject.dev
• opencv 可用 RVV 1.0，OpenCV RVV HAL 生效。 github.com
• ncnn 可用 RVV 1.0，上游 CI 覆盖。 github.comgithub.com
• tengine 部分可用 可用但非最优。 github.com
• spacemit-ai-sdk 可用 SpacemiT AI 制品库（ModelZoo/llama.cpp/localai/dify）可直接取用。 archive.spacemit.com

NPU / 加速器无独立 NPU；AI 走 SpacemiT X60 的向量/AI 扩展与私有 AI SDK

当前「开了就能跑 LLM」的代表板：上游 llama.cpp + 厂商预编译包 + Bianbu 三者齐备。

• llama.cpp 不可用 内存 64MB/256MB 级，无 RVV、无 FPU 性能余量，不具备实际 LLM 可行性；未找到任何公开跑通记录。 milkv.io
• onnxruntime 不可用 内存与算力不足，官方 AI 路径是 TPU 而非通用 runtime。 milkv.io
• pytorch 不可用 不适用。 milkv.io
• opencv 部分可用 可做基础图像处理，但内存受限，官方示例走 TDL SDK。 milkv.io
• ncnn 未找到公开证据 未找到公开证据（内存不足以加载常见模型）。 milkv.io
• cvitek-tpu / tdl-sdk 可用 Milk-V 官方文档：Duo 系列 SoC 内置 CVITEK TPU，推荐用 TDL SDK；提供 YOLOv5/v8/11/12、MobileNetV2、ResNet18 等样例。闭源 TPU 栈。 milkv.io

NPU / 加速器CVITEK TPU（约 0.5 TOPS），闭源 TDL SDK / cvitek 工具链

典型 MCU 级视觉板：能跑 YOLO 类小模型，完全不适合 LLM。