实用指南：ORIN+FPGA高速采集AI智能处理板

一、设计初衷

为什么要设计一款ORIN+FPGA的板卡呢，我们在跟客户交流的过程中发现，客户的需求是多方面的，痛点和烦恼也是各种各样。略举几个例子。

案例1：在钢铁厂做机器视觉的客户反映，基于PC机加显卡的检测方案，不仅成本高，体积大，关键是那种场合温度比较高，有时会出现死机的现象，虽不频繁，一个月出现一两次。很堵心。

案例2：在矿山做皮带撕裂检测，空间很狭窄，放一台PC机很困难，放一台小的没法插显卡，没显卡GPU加速，算力不足，检测算法只能简化，效果不理想，另外关键是那种场合温度湿度都很大，尤其是灰尘，导致设备经常出问题，出障碍最多的就是内存和显卡，千奇百怪，苦不堪言。

案例3：无人机应用，我问客户，为什么不用RK3588+FPGA的方案，客户说，RK3588的6T的算力太低了，相对与Coaxpress接口，6500万像素的相机，RK3588+FPGA的方案，是既采集不进去，算力也不够，还是Orin nx 16G 157T的算力，再加上Nvidia cuda良好的生态，更有把握。

直播的时候，越紧张越死机，提心吊胆的耽误大事。而基于嵌入式的方案，则算力不够，机制太单一，连起码的4K @60帧 12G SDI 采集很难做到，更别提H.265编码了，根本无法与高档摄像机连接。就是案例4：跟几个做直播，导播录播的客户聊，他们反映，基于PC机的方案，需要插好多种卡，比如SDI采集卡，HDMI采集卡等，体积庞大，重量很重，太不便于携带，还容易死机，越

案例5：做软件无线电SDR的朋友，则跟我反映，现在的SDR方面的板卡，AI处理能力普遍欠缺，而国外的技术，已到达了智能频谱感知，构建“射频感知-数据处理-AI决策”的闭环。相比传统SDR的离散架构，其统一内存设计将数据交互时延，使AI模型能实时调用射频内容，实现从“被动响应”到“主动预测”的质变。对科研人员与企业而言，需构建一个单板就行完成SDR+AI 的系统，其核心价值在于“一站式验证”：硬件集成：覆盖从射频（支持多频段）、FPGA（实时处理）到AI算力（Jetson Orin）的全链条，无需担心组件兼容性问题，软件生态：支撑PyTorch、TensorFlow等主流AI框架，与GNURadio等SDR工具无缝对接，Python接口简化二次开发，使算法从设计到验证的周期大幅缩短。

通过经过了一年多的酝酿，跟很多客户进行了沟通，我们编写了一款ORIN+FPGA的板卡，配合各种FMC接口板，满足多个应用场景的需求。FMC接口板只是应用了FMC连接器，并不是标准的FMC板卡的大小和形状，接口板的大小和形状配合ORIN+FPGA板的大小和形状。在这里解释一下，我们在设计之初，打算采用核心板+底板的传统方式，但发觉这种方式需要客户做的事情太多，需做一个底板，要求做相关的底层驱动。所以我们最终考虑决定采用主板+接口板的形式，并还能够为客户定制接口板，写底层软件，许可使客户聚集精力，仅仅开发自己有创新的部分技术，极大的减少了客户的工作量，减少了产品研发的风险，加快了产品上市时间。我们初步考虑了，下述应用场景：

1、通过FPGA的FMC接口，做Cameralink接口板，Coaxpress接口板，10G万兆网接口板，连接面阵和线阵相机，把orin应用到机器视觉领域。特别适合空间有限，潮湿，粉尘，高温高寒，振动，复杂电磁环境等场合。

2、用FPGA的FMC接口，做12G SDI接口板和HDMI接口，把orin应用到广播视频，医疗，教育，导播直播录播领域。

3、依据FPGA的FMC接口，连接ad9361，adrv9009接口板，把orin应用到AI+软件无线电领域。

4、凭借FPGA的FMC接口，做jesd204b接口板，连接高级A/D和D/A芯片。做模拟信号采集和智能处理，应用于分布式光纤信号处理和其他各种A/D和D/AD的场合。

5、通过FPGA的FMC接口，，连接24bit高精度A/D，用于IEPE振动监测，用于大型旋转设备和风电机组运行监测。

6、机器人，无人机。

二、板卡架构

板卡采用ORIN+FPGA架构，ORIN是英伟达公司专为边缘AI和机器人设计的嵌入式芯片，采用7nm工艺，单颗算力达157TOPS，承受多传感器并行处理‌，算力功耗不同，我们这个板，可以选装

ORIN NANO 4G模块

ORIN NANO 8G模块

ORIN NX 8G模块

ORIN NX 16G模块

FPGA采用XILINX的Kintex UltraScale+系列的XCKU5P-2FFVB676I或者Xilinx Artix UltraScale+的XCAU15P-2FFVB676I,引脚兼容，只是后者可以实现PCIe Gen4 16GT/s，可能实现更快的PCIe通信速率。架构图如下：

本产品现货销售，为客户定制各种接口板，承接相关项目，如有需求，可以私信我。

三、ORIN简介

ORIN NANO:

ORIN NX:

算力：

四、FPGA简介

Kintex UltraScale+ XCKU5P-2FFVB676i FPGA和Artix UltraScale+ XCAU15P-2FFVB676i FPGA

	XCKU5P-2FFVB676i	XCAU15P-2FFVB676i
System Logic Cells	474,600	170,100
CLB Flip-Flops	433,920	155,520
CLB LUTs	216,960	77,760
Max. Distributed RAM (Mb)	6.1	2.5
Block RAM Blocks	480	144
Block RAM (Mb)	16.9	5.1
UltraRAM Blocks	64	–
UltraRAM (Mb)	18.0	–
CMTs (1 MMCM and 2 PLLs)	4	3
Max. HP I/O	208	156
Max. HD I/O	96	72
DSP Slices	1,824	576
System Monitor	1	1
GTH Transceiver 16.3 Gb/s	0	12
GTY Transceivers 32.75 Gb/s	16	–
Transceiver Fractional PLLs	8	6
PCIE4 (PCIe Gen3 x16)	1	–
PCIE4C (PCIe Gen3 x16 / Gen4 x8)	–	1
100G Ethernet	1	–
I/O Pins	304	228