PCIe调试心得_DMA part2

作者:East  FPGA那点事儿

上一章讲述了PCIe总线DMA的原理和XAPP1052存在的问题。

本章以服务器常用的4通道1000M以太网卡为例讲述如何提高DMA的效率。

1.内存重分配
Windows操作系统会划分一部分硬盘空间作为虚拟内存,将长时间不用得应用程序或内存交换到硬盘中,而释放出一部分内存空间供其他应用程序使用,提高计算机的性能。

 

或者操作系统会定进行内存碎片整理,将应用程序中零散的内存收集起来重新分配,减少内存碎片。

但是如果被交换或整理的是DMA使用的内存就麻烦了。操作系统已经为该内存重新分配了物理地址,而原内存分配给了其他应用程序,此时DMA再使用该内存,必然导致死机蓝屏现象。XAPP1052就没有很好的解决该问题,在程序中设置禁止将该内存交换到硬盘或整理。

2.内存大小
XAPP1052中申请到的物理连续内存大小为4KB。因为DDR内存内部是以块为单位,最小块为4KB,所以在操作系统中比较容易申请到4KB的物理连续内存。

4KB这个大小太小了。以太网数据小包为64B,大包为1512B,假如连续收到3个大包,那么应该怎样利用4KB的内存呢?

一种方式是一片4KB内存只存放2包数据,剩余内存浪费,第二片4KB内存存放第三包数据;另一种方式是将第三包数据拆分,前一半数据存放在第一片内存,后一半数据存放在第二片内存。

第一种方式将浪费976B,内存利用率非常低;而第二种方式对内存管理和数据处理带来了更高的要求,可靠性肯定降低了。

如果能申请到更大的物理连续内存,比如4MB,那么采用第一种方式浪费的字节数就可以接受。有没有办法申请更大的物理连续内存呢?就留给读者自己去查阅资料了。

3.申请内存
操作系统中有内存管理单元,应用程序申请的内存片是逻辑连续,但不一定物理连续。对于上层软件来说由操作系统屏蔽了硬件特性,看不到任何区别;但是DMA使用必须物理连续。随着计算机运行时间增加,操作系统中的内存碎片也会增加,或其他应用程序占用了内存,导致最后连4KB的物理连续内存都很难申请到。

所以建议:
由驱动程序申请内存,不要在应用程序中申请。
开始工作时就申请足够的内存。
该内存必须妥善管理。
该内存只作为中间转存,数据应拷贝到应用程序的内存中再使用。

4.内存管理
XAPP1052中一次DMA操作完成会产生一个中断。下面简单计算一下:当网络数据量较大时,例如达到4MB/s,那么4KB的内存块完全填满需要:
4KB/40MB/s=100us

中断的频率远远高于任务调度的周期(10ms),这将导致驱动程序不停的处理中断,CPU使用率非常高,而DMA性能非常低。

即使使用大内存,例如4MB,但是4路1000M网最大流量为500MB/s也是相同的情况。

我们提出的解决方案如下:

 

驱动程序申请大量内存片,一开始在内存池1中进行管理。程序开始运行时,将部分内存片指针写入FIFO1中;FPGA从FIFO1中取得内存地址,并开始向该地址写入数据,当该片内存写满后,将该内存地址写入FIFO2,并从FIFO1中取出下一个地址。驱动程序可定期或以FIFO2半满中断等形式,从FIFO2中读回内存指针放入内存池2中。然后将数据可拷贝给应用程序,就可以“释放”这片内存,放入内存池1中。驱动程序检测到FIFO1中使用量较少时立即向FIFO1写入一批内存地址。达到内存循环使用的目的。而驱动程序只需要做内存的调度和管理。FPGA的处理上也没有特殊要求,而且对FPGA中数据缓存的要求也非常低,我们实际应用中只使用了16KB的数据缓存。

假如内存片大小为4MB,两个FIFO深度为32,在500MB/s的数据流量下,使用半满中断处理方式。中断频率为:
16*4MB/500MB/s=128ms

CPU不用频繁处理中断,自然可以将更多的CPU资源用于处理其他任务。而windows任务调度时间约10ms,远小于128ms,完全不用担心因为任务调度延迟导致FIFO溢出而丢包现象。

转载:http://xilinx.eetrend.com/blog/9832

posted @ 2018-01-08 13:15  yf869778412  阅读(3187)  评论(0编辑  收藏  举报