ИИ-софт

• llama.cpp Работает Можно запускать upstream-сборку через qemu-riscv64 -cpu max,vlen=256; документация SpacemiT приводит полную команду запуска llama-cli в qemu. Только проверка функциональности, скорость не показательна. github.comraw.githubusercontent.com
• onnxruntime Частично build_riscv64.sh зависит от qemu для проверки результатов кросс-компиляции; работает, но крайне медленно. raw.githubusercontent.com
• pytorch Частично Колёса RISE явно указывают «сборка не в QEMU»; под qemu можно проверить только функциональность. riseproject.dev
• opencv Работает В эмуляторе запускается, производительность не имеет значения. github.com
• ncnn Работает CI проходит на riscv64. github.com

NPU / ускорительНет (чистая эмуляция)

Только для проверки компиляции и функциональности при отсутствии железа; не может служить основанием для оценки производительности.

• llama.cpp Нет публичных данных Публичных практических проверок именно для Unmatched не найдено; upstream предоставляет только исходники (в release нет бинарников riscv64), у U74 нет RVV, доступен только скалярный путь, ожидается очень медленно. github.comgithub.com
• onnxruntime Частично В upstream есть MLAS RVV kernel и tools/scripts/build_riscv64.sh (вклад SiFive), но нет предсобранных пакетов riscv64 — нужна самостоятельная кросс-компиляция; RVV kernel рассчитан на RVV 1.0. raw.githubusercontent.comgithub.com
• pytorch Частично На PyPI нет колёс riscv64; RISE предоставляет колёса torch 2.13.0 manylinux_2_39_riscv64 (требуется glibc≥2.39, например Ubuntu 24.04/Bianbu). riseproject.devpypi.riseproject.dev
• opencv Работает Upstream 4.x поддерживает RISC-V и RVV HAL; большинство дистрибутивов можно установить или собрать самостоятельно с бэкендом RVV. Проверка производительности по каждой плате не проводилась. github.com
• ncnn Частично В upstream есть linux-riscv64 CI и реализация RVV; у U74 нет RVV, ncnn работает только в скалярном режиме. github.comgithub.com
• tengine Частично tengine-lite предоставляет RVV-ядра свёртки для risc-v/lp64dv и инструментарий rv64-c906, оптимизированы только некоторые операторы — экспериментальная поддержка. raw.githubusercontent.comgithub.com

NPU / ускорительNPU отсутствует

ruyi предоставляет образы OpenBSD/Ubuntu/openKylin/openWrt; экосистема зрелая, но блока AI-ускорения нет.

• llama.cpp Частично Сообщество собирает и запускает, но в issue #14926 сообщается об Illegal instruction на VF2 — нужно правильно задать параметры компиляции RVV/CPU; расширения V нет, чисто скалярный инференс, очень медленно. github.comgithub.com
• onnxruntime Частично В upstream есть MLAS RVV kernel и tools/scripts/build_riscv64.sh (вклад SiFive), но нет предсобранных пакетов riscv64 — нужна самостоятельная кросс-компиляция; RVV kernel рассчитан на RVV 1.0. raw.githubusercontent.comgithub.com
• pytorch Частично На PyPI нет колёс riscv64; RISE предоставляет колёса torch 2.13.0 manylinux_2_39_riscv64 (требуется glibc≥2.39, например Ubuntu 24.04/Bianbu). riseproject.devpypi.riseproject.dev
• opencv Работает Upstream 4.x поддерживает RISC-V и RVV HAL; большинство дистрибутивов можно установить или собрать самостоятельно с бэкендом RVV. Проверка производительности по каждой плате не проводилась. github.com
• ncnn Частично В upstream есть linux-riscv64 CI и реализация RVV; у JH7110 нет RVV, ncnn работает в скалярном режиме. github.comgithub.com
• tengine Частично tengine-lite предоставляет RVV-ядра свёртки для risc-v/lp64dv и инструментарий rv64-c906, оптимизированы только некоторые операторы — экспериментальная поддержка. raw.githubusercontent.comgithub.com

NPU / ускорительNPU отсутствует (есть только GPU/видеокодек)

Одна из самых зрелых плат для начинающих (ruyi предоставляет образы Armbian/openEIC/OpenBSD), но у SoC нет векторных расширений — LLM только «запускается, но очень медленно».

• llama.cpp Работает В официальной wiki Sipeed есть раздел llama.cpp: модель 7B — около 6 с/токен (без расширения V). C910 — это RVV 0.7.1, оптимизированный путь upstream RVV 1.0 неприменим, только скалярный режим. raw.githubusercontent.comgithub.com
• onnxruntime Частично MLAS RVV-ядра из upstream-сборки riscv64 рассчитаны на RVV 1.0; векторы 0.7.1 у TH1520 напрямую не используются, приходится откатываться к скалярному режиму. raw.githubusercontent.com
• pytorch Частично Колёса RISE требуют glibc≥2.39 и оптимизированы под RVV 1.0; на RevyOS/Debian устанавливаются, но без векторного ускорения. riseproject.dev
• opencv Работает Обычно работает; поддержка RVV HAL для 0.7.1 ограничена. github.com
• ncnn Частично Собирается, RVV-оптимизации рассчитаны на 1.0, на 0.7.1 деградируют до скалярного режима. github.com
• tengine Частично tengine-lite поставляется с toolchain rv64-c906 и RVV-ядрами свёртки — как раз для ядер 0.7.1 вроде C906/C910, но покрывает только часть операторов. github.com
• npu-sdk (HHB) Частично В официальной wiki описан процесс для NPU: компилятор T-Head HHB компилирует ONNX в исполняемый файл для NPU (int8/int16 с фиксированной точкой), нужен специальный docker-образ; инструментарий закрытый и поддерживает только фиксированную точку — для LLM не подходит. raw.githubusercontent.com

NPU / ускоритель4 TOPS@INT8, только закрытый инструментарий производителя HHB (int8/int16 с фиксированной точкой), открытых upstream-драйверов нет

Запуск LLM на CPU возможен, но медленный (~6 с/токен); NPU работает только через закрытый HHB от T-Head, Transformer LLM на нём не запустить.

• llama.cpp Частично Тот же TH1520, что и у LicheePi 4A; RevyOS официально поддерживает эту плату; llama.cpp идёт по тому же векторному/скалярному пути 0.7.1 (на LPi4A практическая проверка — около 6 с/токен). Специальных публичных бенчмарков для Meles не найдено. milkv.ioraw.githubusercontent.comrevyos.github.io
• onnxruntime Частично Как и TH1520: upstream RVV-ядра рассчитаны на 1.0, здесь деградация до скалярного режима. raw.githubusercontent.com
• pytorch Частично Можно установить колёса RISE (RevyOS на базе Debian), без векторного ускорения. riseproject.dev
• opencv Работает Обычно работает. github.com
• ncnn Частично Собирается, RVV-оптимизации на 0.7.1 деградируют. github.com
• tengine Частично Toolchain rv64-c906 адаптирован под такие ядра, только часть операторов. github.com
• npu-sdk (HHB) Частично Официальные спецификации Milk-V подтверждают NPU 4TOPS@INT8 с поддержкой TensorFlow/ONNX/Caffe, но через закрытый инструментарий T-Head, открытых драйверов нет. milkv.io

NPU / ускоритель4 TOPS@INT8 (TH1520), закрытый инструментарий HHB

ruyi позволяет напрямую прошить RevyOS (включая uboot-пакеты для 4G/8G/16G); состояние AI такое же, как у LPi4A.

• llama.cpp Работает В официальной документации upstream llama.cpp есть отдельная глава build-riscv64-spacemit.md: A100 использует RISCV64_SPACEMIT_IME2, практическая проверка qwen3 0.6B Q4_0 показала pp128 565.8 / tg128 55.8 t/s, qwen3 4B Q4_0 — pp128 79.7 / tg128 11.3 t/s (8 потоков). raw.githubusercontent.com
• spacemit-llama.cpp (производитель) Работает SpacemiT предоставляет предсобранный spacemit-llama.cpp.riscv64 (уже версии 0.0.9) вместе с библиотекой моделей на archive.spacemit.com; в документации Bit-Brick описано использование llama-cli/llama-server. archive.spacemit.comdocs.bit-brick.com
• onnxruntime Работает Ядро с RVV 1.0 может полностью задействовать upstream MLAS RVV kernel, но собрать нужно самостоятельно. raw.githubusercontent.com
• pytorch Работает В дистрибутивах с glibc≥2.39, таких как Bianbu, можно напрямую установить riscv64-колёса torch 2.13.0 от RISE (колёса имеют тег manylinux_2_39_riscv64). riseproject.devpypi.riseproject.dev
• opencv Работает RVV 1.0 + RVV HAL — оптимальное сочетание. github.com
• ncnn Работает RVV 1.0, покрыто upstream CI. github.comgithub.com
• tengine Частично Работает, но оптимизация рассчитана на 0.7.1 C906, на 1.0 выигрыш ограничен. github.com
• spacemit-ai-sdk Работает archive.spacemit.com/spacemit-ai/ предоставляет ModelZoo, llama.cpp, localai, dify и другие артефакты — это один из самых полных вендорских AI-стеков на текущий момент в RISC-V. archive.spacemit.com

NPU / ускорительK3 делает ставку на CPU+AI-ядро (расширение SpacemiT IME), отдельной универсальной модели программирования NPU нет; ускорение идёт через закрытые инструкции SpacemiT и AI SDK

На данный момент это наиболее полный AI-стек среди RISC-V SBC: upstream llama.cpp напрямую включает его kernel.

• llama.cpp Нет публичных данных Публичных практических проверок llama.cpp на A210 не найдено; C920 — это RVV 0.7.1, путь оптимизации upstream 1.0 недоступен. cnx-software.com
• onnxruntime Нет публичных данных Публичных доказательств для этой платы не найдено (чип довольно новый, поддержка в upstream появилась только в 2026 году). raw.githubusercontent.com
• pytorch Нет публичных данных Публичных доказательств для этой платы не найдено. riseproject.dev
• opencv Частично RVV 0.7.1, только скалярный/ограниченный векторный путь; практических проверок на этой плате не обнаружено. github.com
• ncnn Нет публичных данных Публичных доказательств для этой платы не найдено. github.com
• tengine Нет публичных данных Публичных доказательств для этой платы не найдено. github.com
• torq-toolkit (производитель) Частично Сообщение CNX: официальный Linux SDK + TORQ-Toolkit для конвертации и развёртывания моделей, NPU поддерживает INT4/INT8/INT16/FP8/FP16/BF16, заявлено достижение DeepSeek-7B 8 tok/s; инструментарий закрытый, документация публично недоступна. cnx-software.com

NPU / ускоритель12 TOPS@INT8 (поддержка FP16/BF16/FP8), закрытый инструментарий производителя TORQ-Toolkit

ruyi уже предоставляет образы Debian/buildroot для zhihe-a210, но по AI есть только заявления производителя, публичных воспроизводимых проверок нет.

• llama.cpp Нет публичных данных K230 ориентирован на визуальный вывод (KPU), публичных практических проверок llama.cpp не найдено; ОЗУ уровня 512MB/1GB, LLM нереалистичен. kendryte.com
• onnxruntime Нет публичных данных Публичных доказательств не найдено (официально продвигается nncase). kendryte.com
• pytorch Нет публичных данных Публичных доказательств не найдено; для обучения не применимо. kendryte.com
• opencv Работает CanMV/K230 SDK в комплекте содержит обработку изображений и тракт камеры, API в стиле OpenCV доступен. kendryte.com
• ncnn Нет публичных данных Публичных доказательств не найдено. kendryte.com
• nncase + KPU Работает kendryte/nncase — официальный открытый компилятор глубокого обучения, компилирующий ONNX/TFLite в KPU kmodel; документация K230 SDK описывает полный процесс AI-разработки. github.comkendryte.com

NPU / ускорительKPU (около 1 TOPS), компиляция kmodel через nncase, драйвер — SDK производителя (не upstream)

Типичная плата «сильна в визуальном AI, LLM не подходит»: nncase с открытым исходным кодом, но runtime по-прежнему привязан к SDK производителя.

• llama.cpp Нет публичных данных У P550 нет RVV, публичных практических проверок llama.cpp на Megrez не найдено; официальный AI-путь — NPU, а не CPU. milkv.io
• onnxruntime Нет публичных данных Публичных доказательств не найдено. milkv.io
• pytorch Нет публичных данных Публичных доказательств не найдено. milkv.io
• opencv Частично Без RVV, скалярный путь; RockOS устанавливается, но публичных benchmark нет. github.com
• ncnn Нет публичных данных Публичных доказательств не найдено. github.com
• ennp-sdk (производитель) Работает Платформа ESWIN ENNP (закрытая) предоставляет квантование EsQuant, компиляцию EsAAC, симуляцию EsSimulator; официальный runtime sample сразу даёт примеры Qwen2 и DeepSeek-R1 на NPU (apt install es-sdk-sample-npu-qwen, модель ZIFENG278/Qwen2-0.5B_ENNP). milkv.iomilkv.io

NPU / ускоритель19.95 TOPS@INT8 (INT16/FP16), закрытый ENNP SDK, но официально предоставлены примеры Qwen2/DeepSeek-R1

Редкая для RISC-V плата, где «NPU может запускать LLM и производитель дал примеры»; цена — полная привязка к закрытому стеку ESWIN.

• llama.cpp Нет публичных данных Публичных практических проверок llama.cpp на Titan не найдено; плата новая, поставки малы. milkv.io
• onnxruntime Нет публичных данных Публичных доказательств не найдено. milkv.io
• pytorch Нет публичных данных Публичных доказательств не найдено. milkv.io
• opencv Частично Без RVV, скалярный путь; публичных практических проверок нет. milkv.io
• ncnn Нет публичных данных Публичных доказательств не найдено. milkv.io

NPU / ускорительБез встроенного NPU; официальное позиционирование — дискретная видеокарта/ускоритель AI через PCIe Gen4 x16

Позиционирование как рабочая станция Mini-ITX (два DDR4 ECC до 64GB, BMC), AI требует внешней карты PCIe — но публичных доказательств доступного стека драйверов GPU/NPU на RISC-V пока нет.

• llama.cpp Работает arXiv 2503.17422 (V-Seek) — оптимизация инференса LLM на SG2042: DeepSeek R1 Distill Llama 8B / QWEN 14B достигают 4.32 / 2.29 token/s генерации, 6.54 / 3.68 token/s prefill. У Milk-V официально также есть документация InferLLM. arxiv.orgmilkv.io
• onnxruntime Частично 64 ядра могут работать параллельно, но RVV 0.7.1 не позволяет использовать upstream-ядро 1.0. raw.githubusercontent.com
• pytorch Частично Можно установить wheel-пакеты RISE; без векторного ускорения 0.7.1. riseproject.dev
• opencv Работает Многоядерный скалярный режим доступен. github.com
• ncnn Частично Компилируется, на 0.7.1 деградирует до скалярного режима. github.com
• tengine Частично Ядро rv64-c906 адаптировано под 0.7.1, только часть операторов. github.com
• inferllm Работает Официальная документация Milk-V содержит инструкцию по развёртыванию InferLLM (MegEngine) на Pioneer. milkv.io

NPU / ускорительБез NPU (чистый 64-ядерный CPU)

Единственная RISC-V плата с большим ОЗУ (до 128GB) + 64 ядрами, может запускать модели уровня 70B (ОЗУ достаточно), но пропускная способность — лишь единицы token/s.

• llama.cpp Работает X60 и BPI-F3 на одном ядре, upstream build-riscv64-spacemit.md даёт таблицу практических проверок X60 (qwen3 0.6B Q4_0: pp128 49.15 / tg128 11.73 t/s); также есть экспериментальный репозиторий llama.cpp на Orange Pi RV2. raw.githubusercontent.comgithub.com
• spacemit-llama.cpp (производитель) Работает Можно использовать предкомпилированные пакеты SpacemiT (тот же источник, что K1). archive.spacemit.com
• onnxruntime Работает RVV 1.0, upstream-ядро доступно. raw.githubusercontent.com
• pytorch Частично glibc≥2.39 (например, Ubuntu 24.04 / новая версия Armbian) позволяет установить wheel-пакеты RISE; в старых образах glibc недостаточно. riseproject.dev
• opencv Работает RVV 1.0 + RVV HAL. github.com
• ncnn Работает RVV 1.0, покрыто upstream CI. github.comgithub.com
• tengine Частично Доступно, оптимизация не специфична для 1.0. github.com

NPU / ускорительОтдельного NPU нет (AI-возможности K1 реализуются через проприетарные векторные/AI-расширения SpacemiT).

ruyi предоставляет образ armbian-orangepi-rv2-minimal; одна из самых выгодных по цене плат, «реально запускающих LLM».

• llama.cpp Работает В официальной документации upstream llama.cpp riscv64-spacemit приведена таблица практических проверок X60 (K1) и матрица поддержки квантизации (доступны Q4_0/Q4_1/Q4_K/Q8_0); в официальной документации Bit-Brick приведено полное руководство по использованию в Bianbu. raw.githubusercontent.comdocs.bit-brick.com
• spacemit-llama.cpp (производитель) Работает Предварительно скомпилированный SpacemiT spacemit-llama.cpp.riscv64.0.0.4+ (в archive уже 0.0.9), поддерживает llama-cli / llama-server / OpenAI-совместимый API. archive.spacemit.comdocs.bit-brick.com
• onnxruntime Работает RVV 1.0, доступно upstream-ядро MLAS RVV (требуется самостоятельная сборка). raw.githubusercontent.com
• pytorch Работает В дистрибутивах с glibc≥2.39, таких как Bianbu, можно установить колесо RISE torch 2.13.0 riscv64 (manylinux_2_39_riscv64). riseproject.devpypi.riseproject.dev
• opencv Работает RVV 1.0, OpenCV RVV HAL работает. github.com
• ncnn Работает RVV 1.0, покрыто upstream CI. github.comgithub.com
• tengine Частично Доступно, но не оптимально. github.com
• spacemit-ai-sdk Работает Артефакты SpacemiT AI (ModelZoo/llama.cpp/localai/dify) можно использовать напрямую. archive.spacemit.com

NPU / ускорительОтдельного NPU нет; AI реализуется через векторные/AI-расширения SpacemiT X60 и проприетарный AI SDK.

Текущая представительная плата, «на которой всё готово для запуска LLM»: есть upstream llama.cpp + предварительно скомпилированный пакет производителя + Bianbu.

• llama.cpp Не работает ОЗУ уровня 64MB/256MB, нет RVV, нет запаса производительности FPU, практическая возможность запуска LLM отсутствует; публичных записей об успешном запуске не найдено. milkv.io
• onnxruntime Не работает Недостаточно ОЗУ и вычислительной мощности, официальный AI-путь — TPU, а не универсальный runtime. milkv.io
• pytorch Не работает Не применимо. milkv.io
• opencv Частично Возможна базовая обработка изображений, но ОЗУ ограничено, официальные примеры используют TDL SDK. milkv.io
• ncnn Нет публичных данных Публичных доказательств не найдено (ОЗУ недостаточно для загрузки распространённых моделей). milkv.io
• cvitek-tpu / tdl-sdk Работает Официальная документация Milk-V: SoC серии Duo имеет встроенный CVITEK TPU, рекомендуется TDL SDK; предоставлены примеры YOLOv5/v8/11/12, MobileNetV2, ResNet18 и др. Закрытый стек TPU. milkv.io

NPU / ускорительCVITEK TPU (около 0.5 TOPS), закрытый TDL SDK / инструментарий cvitek.

Типичная плата уровня MCU для компьютерного зрения: может запускать небольшие модели класса YOLO, совершенно не подходит для LLM.