OpenCV和RTSP的综合研究
一、RTSP是什么？用来干什么？
RTSP（Real Time Streaming Protocol），RFC2326，实时流传输协议，是TCP/IP协议体系中的一个应用层协议，由哥伦比亚大学、网景和RealNetworks公司提交的IETF RFC标准。该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或UDP完成数据传输。HTTP与RTSP相比，HTTP请求由客户机发出，服务器作出响应；使用RTSP时，客户机和服务器都可以发出请求，即RTSP可以是双向的。RTSP是用来控制声音或影像的多媒体串流协议，并允许同时多个串流需求控制，传输时所用的网络通讯协定并不在其定义的范围内，服务器端可以自行选择使用TCP或UDP来传送串流内容，它的语法和运作跟HTTP 1.1类似，但并不特别强调时间同步，所以比较能容忍网络延迟。而前面提到的允许同时多个串流需求控制（Multicast），除了可以降低服务器端的网络用量，更进而支持多方视讯会议（Video Conference）。因为与HTTP1.1的运作方式相似，所以代理服务器〈Proxy〉的快取功能〈Cache〉也同样适用于RTSP，并因RTSP具有重新导向功能，可视实际负载情况来转换提供服务的服务器，以避免过大的负载集中于同一服务器而造成延迟。
可以看出，RTSP作为一个应用层协议，主要是因为它的网络适应性、忍耐性，使得在电视电话会议，特别是在现在网络直播上面得到非常广泛应用。
二、图像处理项目需要如何使用RTSP?
对于图像处理程序来说，RTSP作为一种视频格式，主要是作为图像处理算法的输入和输出而存在的。比如从网络上接入的（带系统的摄像机直接生成的）实时视频流,需要接入我们的系统；再比如算法的结果生产，如何附加到RTSP流上再传播出去。
这个时候可能会遇到几个问题，首先是设置的问题。在基于DShow（非常巨大而且强大）的传统接入方式下，我们可以直接对摄像头的输入进行设置（基于filiter),而对于RTSP来说，可能是缺少统一的方法，而必须依据厂商自己的工具（因为它有一个操作系统在里面）。
而对于如何附件到生成结果上来，又相当于编写RTSP服务，从而必须对它有比较深入的了解。
三、OpenCV调用RTSP的几种方式。
1、OpenCV自己基于FFMPEG集成了调用，这是最快的方式；
# include <opencv2 /opencv.hpp >
# include <iostream >
using namespace std;
using namespace cv;
int main()
{
VideoCapturecap;
cap.open( "rtsp://0.0.0.1/stream1"); //呵呵，就这一句关键
MatCamera_CImg;
MatCamera_GImg;
cap.set(CV_CAP_PROP_FRAME_HEIGHT, 768);
cap.set(CV_CAP_PROP_FRAME_WIDTH, 1024);
if ( !cap.isOpened())
return 1024;
while ( 1)
{
cap >> Camera_CImg;
if(Camera_CImg.empty())
break;
cvtColor(Camera_CImg,Camera_GImg, CV_RGB2GRAY);
imshow( "input", Camera_CImg);
if (cvWaitKey( 10) == 'q')
break;
}
system( "pause");
return 0;
}
关于那个"呵呵“一句，我估计实际使用的时候，可能还有一些新的问题。同时我也非常认为，这种默认的方法，总是不专业。
2、基于DShow，构建FILTER（没有深入研究）
开源的实现了RTSP协议的Directshow Filter比较少，一个开源的Filter：RTSP Renderer Filter，完成了一个小型RTSP 服务器的功能。
https://blog.csdn.net/toshiba689/article/details/79410852
3、仿制专门的RTSP播放程序
这个地方，我有两个推荐。
一个是 EasyPlayer-RTSP-Win forked from EasyDSS/EasyPlayer-RTSP-Win（https://github.com/jsxyhelu/EasyPlayer-RTSP-Win）
An elegant, simple, fast windows RTSP Player.EasyPlayer support RTSP(RTP over TCP/UDP),video support H.264/H.265,audio support G.711/G.726/AAC！EasyPlayer RTSP是一款精炼、高效、稳定的RTSP流媒体播放器，视频支持H.264/H.265，音频支持G.711/G.726/AAC，支持RTP over UDP/TCP两种模式！ http://www.easydarwin.org/
应该说全部中文，vs程序，而且关键是非常对口。下一步我将基于它来进一步研究。
一个是非常常见的VLC(https://github.com/videolan/vlc)
但是这个比较复杂，集成起来比较困难。当作软件使用倒是不错。
四、小结和扩展
随着技术和需求的不断发展，对于视频的调用越来越迫切。RTSP是其中一个非常重要的知识节点。认真研究，一定能够有所收获。
感谢阅读至此，希望有所收获。
