2019年RTC大会记录

小编近期在研究webRTC点对点通信技术,怀着学习的心态参加了2019年RTC大会,对所见所闻做下记录,不对的地方还请批评指正!

这次热门的话题是5G、WebRTC、AI对图像、音视频的相关处理,思科报告预测,2021年视频流量将占互联网流量的87%,从2017年到2021年实时视频将增加15倍,占视频流量的13%。

5G

5G带来的是高带宽,给我们带来很多想象,特别是音视频传输上,“信息随心至、万物触手及”在不久的将来也许都将实现,对5G现状的分析推荐大家学习下大会上北京邮电大学博士生导师孙松林老师的5G时代中音视频的机遇与挑战。这这里不做过多分析了。

webRTC

webRTC1.0进入推荐标准阶段,发布第一版SVC Extension for WebRTCVP8 [ RFC6386 ],VP9 [ VP9 ]和AV1 [ AV1 ]之类的编解码器要求支持SVC。这里重点说一下AV1,AV1(Alliance for Open Media Video 1)是由AOM(Alliance for Open Media,开放媒体联盟)制定的一个开源、免版权费的视频编码格式,目标是解决H265昂贵的专利费用和复杂的专利授权问题并成为新一代领先的免版权费的编码标准。此外,AV1是google制定的VP9标准的继任者,也是H265强有力的竞争者,webRTC使用的是Dav1d解码器,可以做1080P的视频。

webRTC有着非常多的应用场景:

1、大班课

2、连麦学习

3、在线美术学习

4、远程定损

5、远程医疗

6、互动电商带货

7、MR教学

8、云游戏

9、双师课堂

10、音乐陪练

等等,实时互动日益普及,越发需要真实生活般的体验,增加临场感。

信令服务器

关于信令服务器状态同步的问题

netless提出了裁决者的角色来解决即时响应的问题,也就是用户端的任何操作即时响应,但是只有服务端经过裁判(计算)之后的状态,才是真的实像,本地的未经过信令的操作为幻像,并优先处理实像,最终达到即时响应的问题。

信令服务器关于万人教室的指数级消息裂变问题,也有老师给出了思路:

1、限流

根据当前人数的区间来决定可广播的数量,确保特殊角色的广播消息,发送者一定能收到自己的消息。

2、导流

采取多级分发,涉及业务层服务器分发、接入层GIS服务器分发

3、削峰

落地线程匀速写DB

AI&音视频

AI的视频编码、AI的图像合成、AI的音频监控、AI视频的监控、AI对音视频的监控,这里不做过多的分享,感兴趣的同学可以看下面的链接,查看相关的视频。

小编水平有限,刚开始做webRTC的研究,这篇文章抛砖引玉,希望能给读者能带来创新的灵感,也欢迎留言交流。

大会视频直播回放地址:http://www.itdks.com/Home/Act/apply?id=3213&mUid=17951

 

posted @ 2019-10-25 21:16  地铁程序员  阅读(444)  评论(0编辑  收藏  举报