触觉智能RK3588开发板实测运行大模型，型号IDO-EVB3588

本文基于触觉智能IDO-EVB3588开发板，运行大模型。效果抢先看！视频使用的主板采用瑞芯微RK3588处理器，是全新一代AloT高端应用芯片，采用8nm LP制程，搭载八核64位CPU，四核Cortex-A76和四核Cortex-A55架构，主频高达2.4GHz。
■ 6TOPS AI算力，三核架构，支持int4/int8/int16/FP16/BF16/TF32；
■ 支持H.265/H.264/AV1/VP9/AVS2视频解码， 最高8K60FPS；
■ 支持 H.264/H.265视频编码， 最高8K30FPS；
■ 支持HDMI2.1输出，最高8K@60Hz；
■ 支持HDMI2.0 输入， 最高4K60FPS；
■ 支持多摄像头输入；
■ 双通道LVDS，支持到1080P@60Hz 大屏幕 ；
■ 多屏异显；
■ 两路独立的千兆以太网口，支持WAN口+LAN口 双IP ；
■ 5G/4G/WIFI/蓝牙无线通信；
■ 板载4路USB3.0，2路全功能Type-C；
■ 丰富的系统支持， Android 12，Ubuntu，鸿蒙OpenHarmony全面支持。

1、运行
在开发板上可以通过CPU直接部署运行模型，可以在终端中直接对话：
CPU调用情况:
同时，通过调整模型，可以在NPU上部署运行大模型，3588开发板的NPU拥有6T的算力，可以加速模型运行。
运行qwen1.8b模型占用情况如下
2、网页调用模型API
模型部署后可以暴露API供其他应用使用，例如Web网页调用API接口实现对话功能。