AI 소프트웨어

• llama.cpp 동작 qemu-riscv64 -cpu max,vlen=256로 업스트림 빌드를 실행할 수 있고 SpacemiT 문서에 qemu에서 llama-cli를 돌리는 전체 명령이 있습니다. 기능 검증용일 뿐 속도는 의미가 없습니다. github.comraw.githubusercontent.com
• onnxruntime 부분 동작 build_riscv64.sh가 qemu로 크로스 컴파일 산출물을 검증하는 구조입니다. 돌긴 하지만 매우 느립니다. raw.githubusercontent.com
• pytorch 부분 동작 RISE 휠이 “QEMU 빌드 아님”이라고 명시하고 있어 qemu에서는 기능 검증만 가능합니다. riseproject.dev
• opencv 동작 에뮬레이션 환경에서 동작하며 성능 의미는 없습니다. github.com
• ncnn 동작 CI가 riscv64에서 통과합니다. github.com

NPU / 가속기없음(순수 에뮬레이션)

하드웨어가 없을 때 컴파일과 기능을 검증하는 용도이고 성능 근거로 쓸 수 없습니다.

• llama.cpp 공개 자료 없음 Unmatched 전용 공개 실측을 찾지 못했습니다. 업스트림은 소스만 제공(release에 riscv64 바이너리 없음)하고 U74에는 RVV가 없어 스칼라 경로뿐이라 매우 느릴 것으로 보입니다. github.comgithub.com
• onnxruntime 부분 동작 업스트림에 MLAS RVV kernel과 tools/scripts/build_riscv64.sh(SiFive 기여)가 있지만 riscv64 사전 빌드 패키지가 없어 직접 크로스 컴파일해야 합니다. RVV kernel은 RVV 1.0 대상입니다. raw.githubusercontent.comgithub.com
• pytorch 부분 동작 PyPI에는 riscv64 휠이 없습니다. RISE가 torch 2.13.0 manylinux_2_39_riscv64 휠을 제공합니다(glibc ≥ 2.39 필요, 예: Ubuntu 24.04/Bianbu). riseproject.devpypi.riseproject.dev
• opencv 동작 업스트림 4.x가 RISC-V와 RVV HAL을 지원합니다. 대부분 배포판에서 설치하거나 RVV 백엔드로 직접 빌드할 수 있습니다. 보드별 성능 검증은 하지 않았습니다. github.com
• ncnn 부분 동작 업스트림에 linux-riscv64 CI와 RVV 구현이 있지만 U74에는 RVV가 없어 ncnn은 스칼라로만 돕니다. github.comgithub.com
• tengine 부분 동작 tengine-lite가 risc-v/lp64dv용 RVV 컨볼루션 kernel과 rv64-c906 툴체인을 제공하며 일부 연산자만 최적화된 실험적 지원입니다. raw.githubusercontent.comgithub.com

NPU / 가속기NPU 없음

ruyi가 OpenBSD/Ubuntu/openKylin/openWrt 이미지를 제공하는 노포 생태계지만 AI 가속 장치가 없습니다.

• llama.cpp 부분 동작 커뮤니티에서 컴파일·실행되지만 issue #14926에 VF2에서 Illegal instruction이 난 보고가 있습니다. RVV/CPU 컴파일 인자를 제대로 맞춰야 하고 V 확장이 없어 순수 스칼라 추론이라 속도가 매우 낮습니다. github.comgithub.com
• onnxruntime 부분 동작 업스트림에 MLAS RVV kernel과 tools/scripts/build_riscv64.sh(SiFive 기여)가 있지만 riscv64 사전 빌드 패키지가 없어 직접 크로스 컴파일해야 합니다. RVV kernel은 RVV 1.0 대상입니다. raw.githubusercontent.comgithub.com
• pytorch 부분 동작 PyPI에는 riscv64 휠이 없습니다. RISE가 torch 2.13.0 manylinux_2_39_riscv64 휠을 제공합니다(glibc ≥ 2.39 필요, 예: Ubuntu 24.04/Bianbu). riseproject.devpypi.riseproject.dev
• opencv 동작 업스트림 4.x가 RISC-V와 RVV HAL을 지원합니다. 대부분 배포판에서 설치하거나 RVV 백엔드로 직접 빌드할 수 있습니다. 보드별 성능 검증은 하지 않았습니다. github.com
• ncnn 부분 동작 업스트림에 linux-riscv64 CI와 RVV 구현이 있지만 JH7110에는 RVV가 없어 ncnn은 스칼라로 돕니다. github.comgithub.com
• tengine 부분 동작 tengine-lite가 risc-v/lp64dv용 RVV 컨볼루션 kernel과 rv64-c906 툴체인을 제공하며 일부 연산자만 최적화된 실험적 지원입니다. raw.githubusercontent.comgithub.com

NPU / 가속기NPU 없음(GPU/영상 코덱만 있음)

가장 성숙한 입문 보드 중 하나(ruyi가 Armbian/openEIC/OpenBSD 이미지 제공)지만 SoC에 벡터 확장이 없어 LLM은 “돌긴 하지만 매우 느린” 수준입니다.

• llama.cpp 동작 Sipeed 공식 wiki에 llama.cpp 장이 있습니다. 7B 모델에서 약 6s/token(V 확장 미사용). C910은 RVV 0.7.1이라 업스트림 RVV 1.0 최적화 경로를 쓸 수 없어 스칼라로만 돕니다. raw.githubusercontent.comgithub.com
• onnxruntime 부분 동작 업스트림 riscv64 빌드의 MLAS RVV kernel은 RVV 1.0 대상이라 TH1520의 0.7.1 벡터를 바로 쓸 수 없어 스칼라로 되돌아갑니다. raw.githubusercontent.com
• pytorch 부분 동작 RISE 휠은 glibc ≥ 2.39에 RVV 1.0 최적화 경로입니다. RevyOS/Debian에서 설치되지만 벡터 가속은 없습니다. riseproject.dev
• opencv 동작 일반적으로 사용 가능합니다. RVV HAL은 0.7.1 지원이 제한적입니다. github.com
• ncnn 부분 동작 컴파일은 되지만 RVV 최적화는 1.0 대상이라 0.7.1에서는 스칼라로 퇴화합니다. github.com
• tengine 부분 동작 tengine-lite에 rv64-c906 툴체인과 RVV 컨볼루션 kernel이 있어 C906/C910 같은 0.7.1 코어를 겨냥하지만 일부 연산자만 커버합니다. github.com
• npu-sdk (HHB) 부분 동작 공식 wiki의 NPU 절차는 T-Head HHB 컴파일러로 ONNX를 NPU 실행 파일(int8/int16 고정소수점)로 바꾸는 것이고 전용 docker 이미지가 필요합니다. 클로즈드 툴체인이고 고정소수점만 지원해 LLM에는 맞지 않습니다. raw.githubusercontent.com

NPU / 가속기4 TOPS@INT8, 벤더 클로즈드 HHB 툴체인(int8/int16 고정소수점)뿐이고 업스트림 오픈소스 드라이버가 없습니다

CPU로 LLM을 돌릴 수는 있지만 느립니다(약 6s/token). NPU는 T-Head 클로즈드 HHB 경로뿐이라 Transformer LLM은 못 돌립니다.

• llama.cpp 부분 동작 LicheePi 4A와 같은 TH1520이고 RevyOS가 이 보드를 공식 지원합니다. llama.cpp는 같은 0.7.1 벡터/스칼라 경로를 탑니다(LPi4A 실측 약 6s/token). Meles 전용 공개 benchmark는 찾지 못했습니다. milkv.ioraw.githubusercontent.comrevyos.github.io
• onnxruntime 부분 동작 TH1520과 같습니다. 업스트림 RVV kernel은 1.0 대상이라 여기서는 스칼라로 퇴화합니다. raw.githubusercontent.com
• pytorch 부분 동작 RISE 휠을 설치할 수 있고(RevyOS는 Debian 기반) 벡터 가속은 없습니다. riseproject.dev
• opencv 동작 일반적으로 사용 가능합니다. github.com
• ncnn 부분 동작 컴파일되지만 RVV 최적화가 0.7.1에서 퇴화합니다. github.com
• tengine 부분 동작 rv64-c906 툴체인이 이 계열 코어에 맞고 일부 연산자만 지원합니다. github.com
• npu-sdk (HHB) 부분 동작 Milk-V 공식 사양이 4TOPS@INT8 NPU의 TensorFlow/ONNX/Caffe 지원을 확인하지만 T-Head 클로즈드 툴체인이라 오픈소스 드라이버가 없습니다. milkv.io

NPU / 가속기4 TOPS@INT8(TH1520), 클로즈드 HHB 툴체인

ruyi로 RevyOS를 바로 기록할 수 있고(4G/8G/16G uboot 패키지 포함) AI 현황은 LPi4A와 같습니다.

• llama.cpp 동작 업스트림 llama.cpp 공식 문서에 build-riscv64-spacemit.md 전용 장이 있습니다. A100은 RISCV64_SPACEMIT_IME2를 쓰고 실측 qwen3 0.6B Q4_0가 pp128 565.8 / tg128 55.8 t/s, qwen3 4B Q4_0가 pp128 79.7 / tg128 11.3 t/s(8스레드)입니다. raw.githubusercontent.com
• spacemit-llama.cpp (벤더) 동작 SpacemiT가 spacemit-llama.cpp.riscv64 사전 빌드를 제공하고(0.0.9까지 나옴) archive.spacemit.com 모델 라이브러리와 함께 씁니다. Bit-Brick 문서에 llama-cli/llama-server 사용법이 있습니다. archive.spacemit.comdocs.bit-brick.com
• onnxruntime 동작 RVV 1.0 코어라 업스트림 MLAS RVV kernel을 충분히 활용하며 직접 빌드해야 합니다. raw.githubusercontent.com
• pytorch 동작 Bianbu처럼 glibc ≥ 2.39인 배포판에서는 RISE의 torch 2.13.0 riscv64 휠을 바로 설치할 수 있습니다(휠은 manylinux_2_39_riscv64). riseproject.devpypi.riseproject.dev
• opencv 동작 RVV 1.0 + RVV HAL로 가장 좋은 조합입니다. github.com
• ncnn 동작 RVV 1.0이고 업스트림 CI가 커버합니다. github.comgithub.com
• tengine 부분 동작 사용할 수 있지만 최적화가 0.7.1 C906 대상이라 1.0에서는 이득이 제한적입니다. github.com
• spacemit-ai-sdk 동작 archive.spacemit.com/spacemit-ai/가 ModelZoo, llama.cpp, localai, dify 같은 산출물을 제공하며 현재 RISC-V에서 가장 완성도 높은 벤더 AI 스택 중 하나입니다. archive.spacemit.com

NPU / 가속기K3는 CPU+AI 코어(SpacemiT IME 확장)가 주력이고 독립 범용 NPU 프로그래밍 모델이 없습니다. 가속은 SpacemiT 사설 명령과 AI SDK로 합니다

현재 RISC-V SBC 중 AI 소프트웨어 스택이 가장 완성도 높은 축이고, 업스트림 llama.cpp가 그 kernel을 직접 내장하고 있습니다.

• llama.cpp 공개 자료 없음 A210에서 llama.cpp 공개 실측을 찾지 못했습니다. C920은 RVV 0.7.1이라 업스트림 1.0 최적화 경로를 쓸 수 없습니다. cnx-software.com
• onnxruntime 공개 자료 없음 이 보드의 공개 근거를 찾지 못했습니다(칩이 최근이라 2026년에야 업스트림 지원). raw.githubusercontent.com
• pytorch 공개 자료 없음 이 보드의 공개 근거를 찾지 못했습니다. riseproject.dev
• opencv 부분 동작 RVV 0.7.1이라 스칼라나 제한적 벡터 경로뿐이고 이 보드 실측은 보지 못했습니다. github.com
• ncnn 공개 자료 없음 이 보드의 공개 근거를 찾지 못했습니다. github.com
• tengine 공개 자료 없음 이 보드의 공개 근거를 찾지 못했습니다. github.com
• torq-toolkit (벤더) 부분 동작 CNX 보도: 공식 Linux SDK + TORQ-Toolkit으로 모델 변환과 배포를 하고 NPU가 INT4/INT8/INT16/FP8/FP16/BF16을 지원하며 DeepSeek-7B 8 tok/s를 주장합니다. 툴체인은 클로즈드이고 문서는 공개적으로 구할 수 없습니다. cnx-software.com

NPU / 가속기12 TOPS@INT8(FP16/BF16/FP8 지원), 벤더 TORQ-Toolkit 클로즈드 툴체인

모델 구분: 칩은 즈허컴퓨팅 A210(아르키메데스 계열, 쉬안톄 C920/C908 코어)이고 개발 보드 브랜드가 “MelonPi”입니다. Ubuntu 이미지는 A200(a200-evb)만 커버해 A210에는 쓸 수 없습니다.

• llama.cpp 공개 자료 없음 K230은 비전 추론(KPU) 지향이고 llama.cpp 공개 실측을 찾지 못했습니다. 메모리가 512MB/1GB급이라 LLM은 현실적이지 않습니다. kendryte.com
• onnxruntime 공개 자료 없음 공개 근거를 찾지 못했습니다(공식 주력은 nncase). kendryte.com
• pytorch 공개 자료 없음 공개 근거를 찾지 못했고 학습 용도로는 해당 없습니다. kendryte.com
• opencv 동작 CanMV/K230 SDK에 이미지 처리와 카메라 경로가 내장돼 OpenCV 스타일 API를 쓸 수 있습니다. kendryte.com
• ncnn 공개 자료 없음 공개 근거를 찾지 못했습니다. kendryte.com
• nncase + KPU 동작 kendryte/nncase는 공식 오픈소스 딥러닝 컴파일러로 ONNX/TFLite를 KPU kmodel로 컴파일합니다. K230 SDK 문서에 전체 AI 개발 흐름이 있습니다. github.comkendryte.com

NPU / 가속기KPU(약 1 TOPS급), nncase로 kmodel을 컴파일하고 드라이버는 벤더 SDK(업스트림 아님)

“비전 AI는 강하고 LLM은 부적합”한 전형적인 보드입니다. nncase는 오픈소스지만 런타임은 여전히 벤더 SDK에 묶여 있습니다.

• llama.cpp 공개 자료 없음 P550에 RVV가 없고 Megrez에서 llama.cpp 공개 실측을 찾지 못했습니다. 공식 AI 경로는 CPU가 아니라 NPU입니다. milkv.io
• onnxruntime 공개 자료 없음 공개 근거를 찾지 못했습니다. milkv.io
• pytorch 공개 자료 없음 공개 근거를 찾지 못했습니다. milkv.io
• opencv 부분 동작 RVV가 없어 스칼라 경로이고 RockOS에서 설치되지만 공개 benchmark는 없습니다. github.com
• ncnn 공개 자료 없음 공개 근거를 찾지 못했습니다. github.com
• ennp-sdk (벤더) 동작 ESWIN ENNP 플랫폼(클로즈드)이 EsQuant 양자화, EsAAC 컴파일, EsSimulator 시뮬레이션을 제공합니다. 공식 runtime sample에 Qwen2와 DeepSeek-R1의 NPU 예제가 있으며(apt install es-sdk-sample-npu-qwen, 모델 ZIFENG278/Qwen2-0.5B_ENNP) 그대로 따라 할 수 있습니다. milkv.iomilkv.io

NPU / 가속기19.95 TOPS@INT8(INT16/FP16), 클로즈드 ENNP SDK지만 공식 Qwen2/DeepSeek-R1 샘플 제공

RISC-V에서 드물게 “NPU로 LLM이 돌고 벤더가 샘플까지 준” 보드입니다. 대가는 ESWIN 클로즈드 스택에 완전히 묶인다는 점입니다.

• llama.cpp 공개 자료 없음 Titan에서 llama.cpp 공개 실측을 찾지 못했습니다. 보드가 최신이고 출하량도 적습니다. milkv.io
• onnxruntime 공개 자료 없음 공개 근거를 찾지 못했습니다. milkv.io
• pytorch 공개 자료 없음 공개 근거를 찾지 못했습니다. milkv.io
• opencv 부분 동작 RVV가 없어 스칼라 경로이고 공개 실측이 없습니다. milkv.io
• ncnn 공개 자료 없음 공개 근거를 찾지 못했습니다. milkv.io

NPU / 가속기온보드 NPU 없음. PCIe Gen4 x16에 외장 GPU/AI 가속 카드를 꽂는 것이 공식 포지셔닝입니다

Mini-ITX 워크스테이션 지향(DDR4 ECC 2채널 최대 64GB, BMC)이라 AI는 외장 PCIe 카드에 의존해야 하는데, 현재 RISC-V에서 쓸 수 있는 공개 GPU/NPU 드라이버 스택 근거가 없습니다.

• llama.cpp 동작 arXiv 2503.17422(V-Seek)가 SG2042에서 LLM 추론을 최적화해 DeepSeek R1 Distill Llama 8B / QWEN 14B에서 생성 4.32 / 2.29 token/s, prefill 6.54 / 3.68 token/s를 냈습니다. Milk-V 공식으로 InferLLM 문서도 있습니다. arxiv.orgmilkv.io
• onnxruntime 부분 동작 64코어 병렬은 가능하지만 RVV 0.7.1이라 업스트림 1.0 kernel을 쓸 수 없습니다. raw.githubusercontent.com
• pytorch 부분 동작 RISE 휠을 설치할 수 있고 0.7.1 벡터 가속은 없습니다. riseproject.dev
• opencv 동작 멀티코어 스칼라로 사용 가능합니다. github.com
• ncnn 부분 동작 컴파일되지만 0.7.1에서 스칼라로 퇴화합니다. github.com
• tengine 부분 동작 rv64-c906 kernel이 0.7.1에 맞고 일부 연산자만 지원합니다. github.com
• inferllm 동작 Milk-V 공식 문서가 Pioneer에서의 InferLLM(MegEngine) 배포 절차를 제공합니다. milkv.io

NPU / 가속기NPU 없음(순수 64코어 CPU)

대용량 메모리(최대 128GB)와 64코어를 갖춘 유일한 RISC-V 보드라 70B급 모델도 메모리는 버티지만 처리량은 한 자리 token/s입니다.

• llama.cpp 동작 X60은 BPI-F3와 같은 코어이고 업스트림 build-riscv64-spacemit.md에 X60 실측표가 있습니다(qwen3 0.6B Q4_0: pp128 49.15 / tg128 11.73 t/s). Orange Pi RV2에서의 llama.cpp 실험 저장소도 따로 있습니다. raw.githubusercontent.comgithub.com
• spacemit-llama.cpp (벤더) 동작 SpacemiT 사전 빌드 패키지를 쓸 수 있습니다(K1 동일 계열). archive.spacemit.com
• onnxruntime 동작 RVV 1.0이라 업스트림 kernel을 쓸 수 있습니다. raw.githubusercontent.com
• pytorch 부분 동작 glibc ≥ 2.39(예: Ubuntu 24.04 / 최신 Armbian)면 RISE 휠을 설치할 수 있고 구형 이미지는 glibc가 부족합니다. riseproject.dev
• opencv 동작 RVV 1.0 + RVV HAL. github.com
• ncnn 동작 RVV 1.0이고 업스트림 CI가 커버합니다. github.comgithub.com
• tengine 부분 동작 사용 가능하지만 최적화가 1.0 전용은 아닙니다. github.com

NPU / 가속기독립 NPU 없음(K1의 AI 능력은 SpacemiT 사설 벡터/AI 확장으로 처리)

ruyi가 armbian-orangepi-rv2-minimal 이미지를 제공하고, 가성비로 “실제로 LLM이 도는” 보드 중 하나입니다.

• llama.cpp 동작 업스트림 llama.cpp 공식 riscv64-spacemit 문서에 X60(K1) 실측표와 양자화 지원 매트릭스(Q4_0/Q4_1/Q4_K/Q8_0 사용 가능)가 있습니다. Bit-Brick 공식 문서에 Bianbu에서의 전체 사용법이 있습니다. raw.githubusercontent.comdocs.bit-brick.com
• spacemit-llama.cpp (벤더) 동작 SpacemiT가 spacemit-llama.cpp.riscv64.0.0.4+ 사전 빌드를 제공하고(archive에는 0.0.9까지) llama-cli / llama-server / OpenAI 호환 API를 지원합니다. archive.spacemit.comdocs.bit-brick.com
• onnxruntime 동작 RVV 1.0이라 업스트림 MLAS RVV kernel을 쓸 수 있습니다(직접 빌드 필요). raw.githubusercontent.com
• pytorch 동작 Bianbu처럼 glibc ≥ 2.39인 배포판에서 RISE torch 2.13.0 riscv64 휠(manylinux_2_39_riscv64)을 설치할 수 있습니다. riseproject.devpypi.riseproject.dev
• opencv 동작 RVV 1.0이라 OpenCV RVV HAL이 동작합니다. github.com
• ncnn 동작 RVV 1.0이고 업스트림 CI가 커버합니다. github.comgithub.com
• tengine 부분 동작 사용 가능하지만 최적은 아닙니다. github.com
• spacemit-ai-sdk 동작 SpacemiT AI 산출물 저장소(ModelZoo/llama.cpp/localai/dify)를 바로 쓸 수 있습니다. archive.spacemit.com

NPU / 가속기독립 NPU 없음. AI는 SpacemiT X60의 벡터/AI 확장과 사설 AI SDK로 처리

현재 “켜면 LLM이 도는” 대표 보드입니다. 업스트림 llama.cpp + 벤더 사전 빌드 + Bianbu 세 가지가 모두 갖춰져 있습니다.

• llama.cpp 동작 안 함 메모리가 64MB/256MB급이고 RVV도 FPU 여유도 없어 LLM은 실용성이 없습니다. 공개적으로 성공했다는 기록을 찾지 못했습니다. milkv.io
• onnxruntime 동작 안 함 메모리와 연산이 부족하고 공식 AI 경로도 범용 런타임이 아니라 TPU입니다. milkv.io
• pytorch 동작 안 함 해당 없음. milkv.io
• opencv 부분 동작 기초 이미지 처리는 가능하지만 메모리가 제한적이라 공식 예제는 TDL SDK를 씁니다. milkv.io
• ncnn 공개 자료 없음 공개 근거를 찾지 못했습니다(일반 모델을 올리기엔 메모리가 부족). milkv.io
• cvitek-tpu / tdl-sdk 동작 Milk-V 공식 문서: Duo 시리즈 SoC에 CVITEK TPU가 내장돼 있고 TDL SDK 사용을 권장합니다. YOLOv5/v8/11/12, MobileNetV2, ResNet18 샘플을 제공하며 TPU 스택은 클로즈드입니다. milkv.io

NPU / 가속기CVITEK TPU(약 0.5 TOPS), 클로즈드 TDL SDK / cvitek 툴체인

MCU급 비전 보드의 전형으로 YOLO 계열 소형 모델은 돌지만 LLM에는 전혀 맞지 않습니다.