Fork me on GitHub

OpenCV和RTSP的综合研究

一、RTSP是什么?用来干什么?

RTSP(Real Time Streaming Protocol),RFC2326,实时流传输协议,是TCP/IP协议体系中的一个应用层协议,由哥伦比亚大学、网景和RealNetworks公司提交的IETF RFC标准。该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上,它使用TCP或UDP完成数据传输。HTTP与RTSP相比,HTTP请求由客户机发出,服务器作出响应;使用RTSP时,客户机和服务器都可以发出请求,即RTSP可以是双向的。RTSP是用来控制声音或影像的多媒体串流协议,并允许同时多个串流需求控制,传输时所用的网络通讯协定并不在其定义的范围内,服务器端可以自行选择使用TCP或UDP来传送串流内容,它的语法和运作跟HTTP 1.1类似,但并不特别强调时间同步,所以比较能容忍网络延迟。而前面提到的允许同时多个串流需求控制(Multicast),除了可以降低服务器端的网络用量,更进而支持多方视讯会议(Video Conference)。因为与HTTP1.1的运作方式相似,所以代理服务器〈Proxy〉的快取功能〈Cache〉也同样适用于RTSP,并因RTSP具有重新导向功能,可视实际负载情况来转换提供服务的服务器,以避免过大的负载集中于同一服务器而造成延迟。

可以看出,RTSP作为一个应用层协议,主要是因为它的网络适应性、忍耐性,使得在电视电话会议,特别是在现在网络直播上面得到非常广泛应用。

二、图像处理项目需要如何使用RTSP?

对于图像处理程序来说,RTSP作为一种视频格式,主要是作为图像处理算法的输入输出而存在的。比如从网络上接入的(带系统的摄像机直接生成的)实时视频流,需要接入我们的系统;再比如算法的结果生产,如何附加到RTSP流上再传播出去。

这个时候可能会遇到几个问题,首先是设置的问题。在基于DShow(非常巨大而且强大)的传统接入方式下,我们可以直接对摄像头的输入进行设置(基于filiter),而对于RTSP来说,可能是缺少统一的方法,而必须依据厂商自己的工具(因为它有一个操作系统在里面)。

而对于如何附件到生成结果上来,又相当于编写RTSP服务,从而必须对它有比较深入的了解。

三、OpenCV调用RTSP的几种方式。

1、OpenCV自己基于FFMPEG集成了调用,这是最快的方式;

 

 

#include "stdafx.h"
#include <opencv2/opencv.hpp>
#include <iostream>
using namespace std;
using namespace cv;
int main()
{
        VideoCapture cap;
        cap.open("rtsp://0.0.0.1/stream1");//呵呵,就这一句关键
        Mat Camera_CImg;
        Mat Camera_GImg;
        cap.set(CV_CAP_PROP_FRAME_HEIGHT,768);
        cap.set(CV_CAP_PROP_FRAME_WIDTH,1024);
        if (!cap.isOpened())
        return 1024;
        while (1)
        {
                  cap>> Camera_CImg;
                  if(Camera_CImg.empty())
                  break;
                  cvtColor(Camera_CImg,Camera_GImg, CV_RGB2GRAY);
                  imshow("input", Camera_CImg);
                  if (cvWaitKey(10) == 'q')
                  break;
        }
        system("pause");
return 0;
}

 

 

关于那个"呵呵“一句,我估计实际使用的时候,可能还有一些新的问题。同时我也非常认为,这种默认的方法,总是不专业。

2、基于DShow,构建FILTER(没有深入研究)

开源的实现了RTSP协议的Directshow Filter比较少,一个开源的Filter:RTSP Renderer Filter,完成了一个小型RTSP 服务器的功能。

https://blog.csdn.net/toshiba689/article/details/79410852

3、仿制专门的RTSP播放程序

这个地方,我有两个推荐。

一个是 EasyPlayer-RTSP-Win forked from EasyDSS/EasyPlayer-RTSP-Win(https://github.com/jsxyhelu/EasyPlayer-RTSP-Win)

An elegant, simple, fast windows RTSP Player.EasyPlayer support RTSP(RTP over TCP/UDP),video support H.264/H.265,audio support G.711/G.726/AAC!EasyPlayer RTSP是一款精炼、高效、稳定的RTSP流媒体播放器,视频支持H.264/H.265,音频支持G.711/G.726/AAC,支持RTP over UDP/TCP两种模式! http://www.easydarwin.org/

应该说全部中文,vs程序,而且关键是非常对口。下一步我将基于它来进一步研究。

一个是非常常见的VLC(https://github.com/videolan/vlc)

但是这个比较复杂,集成起来比较困难。当作软件使用倒是不错。

四、小结和扩展

随着技术和需求的不断发展,对于视频的调用越来越迫切。RTSP是其中一个非常重要的知识节点。认真研究,一定能够有所收获。

感谢阅读至此,希望有所收获。

目前方向:图像处理,人工智能
posted @ 2019-06-16 13:36  jsxyhelu  阅读(533)  评论(0编辑  收藏  举报