随笔分类 - Qt/C++音视频开发
摘要：## 一、前言 ffmpeg的版本众多，从2010年开始计算的项目的话，基本上还在使用的有ffmpeg2/3/4/5/6，最近几年版本彪的比较厉害，直接4/5/6，大版本之间接口有一些变化，特别是一些废弃接口被彻底删除了，而网络上的各种文章几乎都是ffmpeg3左右为主的，所以本人在写这个全功能播放
阅读全文
摘要：## 一、前言 近期遇到个用户需要多级联的保存和推流，在ffmpegsave多线程保存类中实现这个功能，越简单越好，就是在推流的同时，能够开启自动转储功能，一边推流的同时一边录像保存到本地视频文件。最初设想的一个方案是new两个ffmpegsave类，一个专门推流，一个专门录像，可以肯定是可以，但是
阅读全文
摘要：## 一、前言 之前已经打通了rtmp的推流，理论上按照同样的代码，只要将rtmp推流地址换成rtsp推流地址，然后格式将flv换成rtsp就行，无奈直接遇到协议不支持的错误提示，网上说要换成rtp，换了也没用，而且打印了ffmpeg库协议，也是支持的，以为用对应的命令行测试推流到rtsp流媒体服务
阅读全文
摘要：## 一、前言 近期花了两周时间闭门啃硬骨头，主要就解决三个问题（音视频同步存储和推流、图片水印并将水印信息存储到文件或者推流、rtsp推流），这三个问题困扰了很多年，以至于找遍了网络和翻遍ffplay代码以及ffmpeg示例的代码，通过不下于上百次方案的调整和测试，几乎每次都是在接近崩溃的时候，灵
阅读全文
摘要：## 一、前言 用ffmpeg单独做视频保存不难，单独做音频保存也不难，难的是音视频同步保存到MP4中，重点是音视频要同步，其实这也不难，只要播放那边音视频同步后的数据，写入到文件即可。最难的是在播放过程中不断随机的切换播放进度，而且还会暂停播放、暂停录制的情况出现，这些个复杂情况的出现，可以说，测
阅读全文
摘要：一、前言 花了一年多的时间，终于把这个超级播放器做成了自己想要的架构，用户的需求是一方面，自己架构方面的提升也是一方面，最主要是将界面和解码解耦了，这样才能动态的挂载不同的解码内核到不同的视频监控窗体，多对多关系，而且解耦和才能方便的实现共享解码，整个设计参照了Qt的设计思路，将各种功能做成不同的类
阅读全文
摘要：一、前言 和音频存储类似，视频的存储也对应三种格式，视频最原始的数据是yuv（音频对应pcm），视频压缩后的数据是h264（音频对应aac），由于很多播放器或者早期的播放器不支持直接播放h264文件，所以需要用编码器编码成mp4格式，这块就需要用到ffmpeg里面一整套的编码流程，对yuv数据进行编
阅读全文
摘要：一、前言 音频的保存相对来说比视频的要简单，具有通用性，不需要经过ffmpeg的编码，ffmpeg解码出来后一般会转换成pcm原始的数据用来播放，所以对数据直接写文件即可，但是这种格式是无法用播放器直接播放的，因为采样率、通道等参数未知，除非手动指定，所以就多出来一个wav格式，这个格式就是在pcm
阅读全文
摘要：文章 链接 1-vlc解码播放 https://qtchina.blog.csdn.net/article/details/107742836 2-vlc回调处理 https://qtchina.blog.csdn.net/article/details/107778390 3-vlc录像存储 ht
阅读全文
摘要：一、前言 采用了回调方式的视频通道，截图只需要对解析好的QImage对象直接保存即可，而对于句柄的形式，需要调用不同的处理策略，比如vlc需要用它自己提供的api接口函数libvlc_video_take_snapshot传入保存路径即可，mpv的内核执行screenshot-to-file命令传入
阅读全文
摘要：一、前言 把通用的视频控件搞定以后，后期增加新的内核方便多了，不需要在好多个文件复制粘贴之类的，接下来就是需要一个统一的类来管理视频监控系统中的16个通道或者32个通道，甚至64个通道也有可能，当然，通用通道管理也兼容各种监控内核，以前通道管理类，是每个内核写一个，也是很繁琐，大量的重复性代码，所以
阅读全文
摘要：一、前言 自从视频监控系统的内核不断增加，从最初的vlc到ffmpeg然后到mpv，后面还陆续增加了海康sdk等，每次增加一个内核，整个视频监控系统就有三五个代码文件需要修改，而且大部分是重复的代码，通过define来区分不同的内核，所以重新整理了一个视频类，里面就define处理好了，提供了个公共
阅读全文
摘要：一、前言 上篇文章写道采用的TCP传输视频，优缺点很明显，优点就是不丢包，缺点就是速度慢，后面换成UDP通信，速度快了很多，少了3次握手，而且在局域网中基本上不丢包，就算偶尔丢包，对于一秒钟25-30张图片来说，偶尔一张图片丢失，基本上看不出来，所以忽略，但是放到广域网或者互联网比如阿里云平台上测试
阅读全文
摘要：一、前言 做音视频开发，会遇到将音视频重新转发出去的需求，当然终极大法是推流转发，还有一些简单的场景是直接自定义协议将视频传出去就行，局域网的话速度还是不错的。很多年前就做过类似的项目，无非就是将本地的图片上传到服务器，就这么简单，其实用http的post上传比较简单容易，无需自定义协议，直接设置好
阅读全文
摘要：一、前言 在人脸识别到以后，需要在实时视频上将所有人脸框绘制出来，一把来说识别人脸会有多种选择，一个是识别最大人脸，这种场景主要用于刷脸门禁，还有一种是识别所有人脸，这种场景主要用于人脸识别摄像机，就是将画面中的所有人脸识别出来发给服务器，人脸框的数据主要是四个参数，左上角和右下角的位置，也可以说是
阅读全文
摘要：一、前言 上一篇文章写道人脸识别客户端程序，当然要对应一个服务端程序，客户端才能正常运行，毕竟客户端程序需要与服务端程序进行交互他才能正常工作。通常人脸识别服务端程序需要和人脸识别的相关处理库在一起，这样他接收到相关的处理需求以后比如人脸识别的处理请求，需要调用本地的人脸识别库来处理，处理完成以后拿
阅读全文
摘要：一、前言 人脸识别客户端程序，不需要和人脸识别相关的库在一起，而是通过协议通信来和人脸识别服务端通信交互，人脸识别客户端和服务端程序框架，主要是为了提供一套通用的框架，按照定好的协议，实现人脸识别的相关处理，很多厂家都会有也都会做类似的机制，以便第三方厂家或者自家的其他设备按照这个通信协议来处理，比
阅读全文
摘要：一、前言 大概几年前搞过一套嵌入式linux上的人脸识别程序，当然人脸识别的核心算法并不是自己开发的，关于人脸识别算法这一块，虽然有众多的开源库可以用，甚至还可以用opencv搞算法训练深度学习之类的，个人认为始终达不到准确度的要求，尤其是人脸比对的准确度，这个需要专业的人脸训练模型才行。目前市面上
阅读全文
摘要：一、前言 上一篇文章写了在线调用人脸识别api进行处理，其实很多的客户需求是要求离线使用的，尤其是一些事业单位，严禁这些刷脸数据外泄上传到服务器，尽管各个厂家号称严格保密这些数据，但要阻止这些担心，唯一的解决办法就是设备离线使用，连个屁的网，不联网看你怎么上传，于是离线的人脸识别应用应运而生，比如我
阅读全文
摘要：一、前言 关于人脸识别这块，前些年不要太火，哪怕是到了今天依然火的一塌糊涂，什么玩意都要跟人脸识别搭个边，这东西应该只是人工智能的一个很小的部分，人脸识别光从字面上理解就是识别出人脸区域，其实背后真正的处理是拿到人脸区域图片，提取人脸特征值，再用这些特征值去做比对分析处理，识别出到底是谁，国内厂家也
阅读全文
浙公网安备 33010602011771号