全球好，起始感谢TLC大会组委会的邀请，有这个契机在这里跟全球一谈调换共享。我先作念个简便的自我先容。我叫王诗涛國產av 肛交，面前履新于腾讯多媒体实验室，我的主要磋磨标的是视频编解码和图像压缩。我是2013年入职腾讯，先后负责 QQ视频通话，腾讯云互动直播SDK，腾讯会议和云游戏等及时音视频场景下的视频技能开发，同期我也负责图片压缩技能的研发，主导开发了TPG图片压缩局面。

本文援用地址：https://www.eepw.com.cn/article/202009/418708.htm

今天我给全球共享的主要实质分为三大部分，第一部分是腾讯会议的视频编码技能优化先容。第二部分是先容咱们将视频编码用于图像压缩的探索实验。临了一部分会先容咱们近两年在云游戏场景上头的一些视频编码技能的优化。

1. 腾讯会议视频编码技能攻坚战

起始咱们来看咱们在腾讯会议上作念的一些视频技能优化，2020年，对全球来讲是一个很不庸碌的一年，这一年因为疫情的爆发，转变了全球的责任和生涯相貌，也恰是因为疫情让腾讯会议这一款产物备受温雅，成为了爆款。其实腾讯会议推出的时辰并不长，咱们是在2019年底的时候才发布这款产物，发布不到一个月，疫情就爆发了。我谨记咱们发布之初的DAU才几千东谈主，疫情爆发之后，不到两个月的时辰DAU就任性了1000万。因为用户的爆炸式增长导致咱们的流量带宽也呈现指数级增长，为了节俭带宽资本，咱们在视频编码这一块作念了大宗的优化。

1.1 H.265编码技能优化

起始便是优化H.265编码技能。咱们知谈面前主流的视频编码局面是H.264和H.265， H.265比H.264的压缩遵循要高50%掌握，然而它的编码复杂度也会比H.264高好多。如果要在腾讯会议这种及时场景下应用的话，详情是要作念大宗的性能优化的。咱们对编码算法的各个模块，比如说块分裂，帧内帧间瞻望等齐作念了大宗的算法优化，包括方式采纳快速算法和提前退出算法，同期也作念了好多工程类优化。比如说优化数据结构，减少内存拷贝，汇编优化以及多线程优化等。经过优化之后，咱们的编码器比拟于开源的X265，不管是在压缩遵循，照旧在编码速率方面齐是有很大的上风的。咱们的编码速率比X265-Ultrafast还要快一倍以上，同期压缩遵循高30%以上。

1.2 录像头视频场景下的编码优化

除了编码内核优化，咱们也针对视频会议这个场景作念了好多专项优化，第一个是ROI编码，ROI编码也叫感敬爱区域编码，关于会议里面的录像头视频，全球可能更温雅的是东谈主脸区域，而对配景区域温雅度较低。是以咱们采用ROI编码来升迁东谈主脸区域清醒度，升迁主不雅质地。ROI编码包含两个模块，一块是东谈主脸检测，或者说肤色监测，另外一块是ROI编码。关于东谈主脸检测模块，咱们采用了快速高效的检测算法，每帧1080p图像的检测耗时不错限度在0.3ms以内，对合座编码性能影响相等小。完成东谈主脸检测之后，咱们会在编码前对码率限度进行革新，关于ROI区域增多码率，升迁编码质地，关于非ROI区域则合适裁减码率，以保执总体码率的均衡。咱们的ROI编码完了口角常赫然的，在低码率下不错赫然升迁视频主不雅质地，高码率下不错节俭20%以上码率，同期保执主不雅质地基本不变。

除了通过ROI升迁编码完了，咱们也在升迁视频汇集抗性方面作念了好多责任。比如SVC编码技能。频繁视频会议是多方接入的，参会东谈主可能有三五东谈主致使更多，每个接入用户的汇集状态是不同样的，有的用户汇集好，有的汇集景况很差，这就给编码端带来了不毛，如果发送端为了确保汇集差的用户能正常通讯而发送一个低码率视频，就会影响到汇集好的用户的视频体验，而如果为了保证汇集好用户的视频完了发送高清视频的话，汇集差的用户的视频就会卡死。

为了措置这个问题，咱们在编码端采用了SVC编码技能。咱们将编码视频分红三层，其中基本层只可参考基本层，增强层不错参考基本层也不错参考增强层，这样的话，独一基本层不丢失，那扫数的基本层的视频帧齐能正确解码，不需要苦求I帧。这样作念的公正是，关于汇集很差的用户，咱们只给他下发基本层码流就不错了，保证他的基本通讯，而关于汇集好的用户，咱们会下发扫数层，确保用户大略享受到高清解析的视频体验。SVC编码技能很好的适配了各式汇集景况的用户，幸免了一个采纳端的汇集不好影响到其他采纳端的视频完了。

1.3 屏幕共享场景下的编码优化

前边先容的是咱们在录像头视频这个场景上作念的一些优化，接下来我再先容一下咱们在屏幕共享这个场景上头的一些优化。屏幕共享是视频会议的一个主流场景，屏幕共享的实质是筹画机生成的屏幕图像，屏幕图像和咱们用录像头集中的视频，是有很大的不同的。比如说屏幕实质图像频繁是莫得噪声，色调比较龙套，线条比较精致，而传统的录像头视频是有噪声，色调衔接的，而且纹理频繁比较复杂。

传统的视频编码技能采用的瞻望+变换的搀和编码结构，它主要针对的是录像头视频，而关于屏幕实质，它的压缩遵循是不太高的，经过变换编码后，好多高频重量会亏损，导致细节丢失、为了升迁屏幕实质的编码遵循，HEVC在16年的时候有利推出了一个针对屏幕实质编码的层次，叫HEVC-SCC。SCC极大的升迁了屏幕共享这种场景下的编码遵循。

SCC里面有两个要津技能，一个是帧内块拷贝技能，也叫IBC编码，IBC编码的时候，不错用现时帧还是重建好的块算作参考块，也便是基于现时帧的通顺赔偿。另一个技能是调色板编码（Palette Mode）技能，调色板编码期骗情态表和情态索引来完成每个像素的重建。IBC和Palette编码关于屏幕实质的压缩遵循的升迁完了相等显赫，压缩遵循比拟H.265不错升迁50%以上。为了升迁屏幕共享场景下的压缩遵循，咱们在原有编码器基础上加入了这两个器具集，推出了一个专用于屏幕实质压缩的TSE编码器。

IBC和Palette编码固然压缩遵循很高，然而编码复杂度亦然挺高的，为了能在视频会议这种及时场景应用，咱们对TSE编码器作念了大宗的性能优化责任，比如基于hash的通顺测度，快速情态表生成及查找算法，提前退出算法以及汇编优化等。经过优化之后，咱们的TSE编码器的总体性能达到了业界最初的水平。咱们这里有组对比数据，编码遵循方面，咱们的TSE编码器比X265-Ultrafast高70%以上，编码速率不到X265-Ultrafast的一半。除了客不雅质处所面的升迁，TSE对主不雅质地的改善亦然很赫然的，采用TSE编码生成的图像，翰墨完了要赫然好于X265的编码完了，另外，TSE编码输出的图像的线条也愈加的清醒精致。

除了屏幕实质编码技能，咱们在屏幕实质的编码方面，还增多了YUV444编码方式的支执。由于东谈主眼对色度重量不太明锐，频繁录像头视频一般会在编码前对色度重量进行一个下采样，编码的时候采用YUV420局面，这样不错节俭带宽，同期合座的主不雅质地影响不大。然而关于屏幕实质序列，因为本人它的颜色口角常丰富的，如果咱们对色度重量进行下采样的话，会严重影响图像的重建完了。而且这种亏损是不可逆的，它没法通事后头的编解码方法赔偿总结。为了措置色度下采样带来的情态失真问题，咱们支执了YUV444编码方式，YUV444编码由于莫得色度下采样，它编码之后的图像视觉质地和原图相等接近。比拟于YUV420编码，主不雅质地有很大升迁。

2. 视频编码在图像压缩规模的探索实验

前边先容了咱们实验室在视频会议这个场景上头的一些视频编码技能的优化，接下来第二部分我将先容一下咱们在图片压缩这一块的一些探索实验。

咱们在前几年的时候推出了一个名为TPG的图片压缩局面，它是一个基于avs2的图片压缩局面，我先简便先容一下咱们TPG局面产生的配景。咱们早在14年、15年的时候，就运行了图片压缩的优化责任。其时收到好多业务的反映说图片的流量带宽资本比较大，看咱们能不成襄理节俭图片带宽流量资本。其时互联网行业用的比较多的图片局面是jpeg和webp，jpeg是一个很陈腐的局面，它的压缩遵循是比较低的，webp是谷歌在10年掌握推出的一个基于VP8的图片编码局面。

咱们其时就思，VP8是和H264统一时间的程序，既然不错用VP8来作念图像压缩，那为什么无须最新的H.265编码程序呢，为了考证H.265决策的可行性，咱们作念了大宗实验，发现采用H.265进行图像压缩，其压缩遵循要远远高于jpeg，也大幅最初于webp，也便是说采用H.265进行图片压缩是十足可行的。探究到H.265的专利风险性，咱们就采用了压缩遵循和H.265十分的AVS2算作内核，推出了TPG图片压缩局面。

咱们的TPG图片编码系统包括RGB转YUV模块，编码模块，TPG局面封装几个模块。为了支执一些图片独到信息，咱们的TPG加入了好多功能膨大。比如对Alpha通谈的支执，传统的视频编码是没法编码RGBA数据的，为了大略加入Alpha通谈信息，咱们将RGBA数据分离成RGB数据和Alpha数据，然后将两个通谈的数据分别进行编码，临了将编码后的数据合成在一谈输出一个TPG码流。还有便是关于动态图片局面的支执，咱们知谈传统的gif图像编码由于莫得期骗图像之间的联系性信息，它的压缩遵循是很低的，咱们的TPG采用视频编码的方式对动图进行压缩，在保执主不雅质地基本不变的情况下，编码遵循大大升迁，同期，为了和gif保执特色一致，咱们在TPG里面加入了情态表、延长时辰等信息，确保TPG的图片展示完了和gif十足一致。

经过不休完善，TPG局面的功能不休健全，压缩遵循上风赫然，字据咱们的对比测试完了，在同等主不雅质地下，TPG的压缩遵循比jpeg高45%以上，比png高60%以上，比gif高85%以上。

咱们除了优化TPG编码内核升迁压缩遵循，也兑现了一整套TPG转码决策。在h5页面接入方面，咱们和公司内的X5内核团队和谐，推出了一个CDN+X5内核的无痛接入决策，X5内核里面原生支执咱们的TPG局面，在请求图片的时候，请求头里面会带上image/tpg标识，独一业务是用的X5内核，业务表层不需要作念任何创新就不错罢休接入TPG图片局面；在腾讯云开发接入方面，腾讯云数据万象和微信小方法内核已集成TPG的转码决策，接入云开发就平直使用TPG局面；除了H5接入和腾讯云开发的决策，咱们也兑现了末端native接入的决策，提供全平台的TPG解码器，业务独一集成了咱们的解码器，就不错解码出RGB数据，之后完成渲染。

在就业端，当用户请求图片的时候，起始会判断末端是否支执TPG，如果支执TPG的话，就看OC节点是否有TPG缓存，有缓存就下发TPG，不然回源查抄是否有 TPG副本，如果有就缓存到OC节点下发TPG，不然启动TPG的转码同期下发原图。

前边先容了咱们TPG局面的一些特色以及转码决策，这里总结一下TPG的上风。起始它的压缩遵循高，比拟jpeg，png和gif上风赫然；TPG有竣工的措置决策，支执CDN+X5内核的H5接入和末端native SDK接入，支执linux、windows，mac，ios，android全平台，另外为了支执浏览器，咱们也推出了TPG的js版解码器；功能方面，TPG增多了对alpha通谈和动画的支执。

恰是由于TPG有这样多的优点，TPG局面推出后，在公司表里得回了平时的应用。面前公司内还是有跳动60家业务接入了咱们的TPG图片局面。咱们不错看下业务接入TPG局面后的完了对比。以手Q H5页面为例，采用tpg图片局面后，手Q H5页面的流量节俭了50%以上，除了带来流量的节俭，TPG在体验优化这一块的完了亦然比较赫然的。这里有一组业务的页面测试数据，采用TPG局面后，页面的总图片大小，减少了近50%，同期页面加载速率升迁了近1/3。

为了在行业内进一步奉行TPG局面，咱们也作念了TPG的程序化责任，咱们在17年的时候向AVS组织提倡了成立互联网图像程序的提案，何况收效将TPG纳入AVS2的第7部分图像容器，面前AVS2-P7还是在国度程序的讲述经过中，驯服在不久的改日就会隆重发布为国度程序。

色吧性爱

3. 云游戏场景下编码技能优化

前边先容的是咱们在会议和图片压缩场景的一些技能优化，临了一部分我会先容一下咱们在云游戏场景下的一些磋磨。

起始简便先容下什么是云游戏？云游戏是一种以云筹画和串流技能为基础的一个在线游戏技能，它将游戏渲染放到了就业器端，而不是在用户的末端开拓上进行腹地渲染。云游戏把游戏玩家的操作辅导平直发送到云表，由云表来完成图像渲染，渲染后的图像会被编码成一个视频流，然后把这个视频流发到用户的手机或者末端开拓上头，完成解码解析。也便是在玩游戏的时候，其实你看到的是一个视频，由于视频编码质地高，延时小，是以完了和腹地渲染看起来同样。

云游戏有什么公正呢？起始，云游戏即开即玩，不需要下载。畴昔咱们玩一个游戏，比如lol或者王者荣耀，咱们需要先去下载一个装置包，而装置包一般比较大，这样既浪用度户时辰，也占用开拓存储空间。畴昔试玩一个游戏的资本比较高，面前的话，我不错随处随时通达就玩，罢休体验各式游戏。

其次，腹地游戏需要在腹地渲染，对游戏玩家的硬件开拓树立条目比较高，采用云游戏后，将渲染搬到云表，对用户的末端开拓的树立条目会大大的裁减，畴昔为了玩一个重度游戏，需要去网吧，面前在家用一个普通札记本，就不错在上头罢休的玩各式大型游戏。

还有少许，云游戏措置了跨平台兼容的问题。面前MAC电脑的用户越来越多，然而好多游戏是不支执MAC平台的。云游戏采用的视频流决策，措置了各平台末端互通的问题，MAC，手机致使TV齐不错玩端游。

云游戏有这样多公正，为什么之前一直莫得发展起来呢？这里简便先容下云游戏发展历史。云游戏的见识在2000年掌握的时候就提倡来了。2009年OnLine公司推出了第一款云游戏孤岛危急，接下来的近10年的时辰里面，云游戏发展比较渐渐。从2018年运行，云游戏投入了快速发展时期，各大巨头运行发力， Google微软齐推出了我方的云游戏，在腾讯里面也有好几个云游戏团队，比如 start云游戏，GameMatrix，腾讯即玩，腾讯云也推出了云游戏措置决策。

为什么近两年云游戏发展短暂加快了呢？我合计主要有以下几个方面的原因，一个是云筹画的普及以及角落筹画的发展，包括咱们GPU杜撰化技能的训练。另一个要津原因是跟着5G时间的到来，用户的汇集带宽越来越好，而且带宽资本越来越低，不错很好的知足云游戏关于高带宽的条目；还有便是咱们的音视频技能的不休发展，面前硬件编解码技能越来越训练了，而且压缩遵循越来越高，为云游戏的发展提供了撑执。

云游戏它有几大模块，一块是在云表，云表主若是负责渲染和编码，第二大模块汇集传输，然后再加上末端的解码渲染过程，音视频编解码技能在云游戏里面是一个比较中枢的模块，云游戏的图像压缩质地，带宽资本，游戏时延等均和编解码技能息息联系，为了升迁云游戏用户体验，咱们连结公司内的云游戏团队，一谈针对云游戏场景作念了大宗视频技能优化，咱们也自研了一套云游戏视频引擎。

咱们的云游戏引擎采用了全链路硬件的兑现决策。在云表编码这块，咱们采用H.265编码来升迁压缩遵循，支执DX纹理输入，幸免CPU和GPU之间大宗的数据拷贝。为了节俭流量带宽，咱们在编码战术这一块作念了大宗的优化，比如说采用动态码率，咱们会在编码前对视频场景进行预分析，如果现时画面属于比较静止的场景，咱们会合适裁减它的码率，因为静止场景频繁图像的PSNR比较高，比如在45dB以上，关于这类图像，即使裁减部分码率，东谈主眼一般嗅觉不出来。

而关于复杂通顺区域，则会合适的升迁码率，这样不错改善大体育场景下画面粗率的问题。采用动态码率技能，不但大略节俭码率，视频主不雅质地还能得回一定升迁。除了动态码率，咱们还加入了一些视频前处理技能比如视频增强来升迁主不雅质地。另外，咱们也使用了ROI编码技能，不错在主不雅质地基本不变的情况下，节俭10%掌握的码率。

客户端方面，咱们windows、mac、ios、android全平台支执了H.264、H.265 1080p@60fps硬件解码，并针对各平台的解码性能作念了大宗优化。比如针对Android硬件解码兼容性差，延时大等问题，咱们通过优化解码出帧机制，处理囤帧问题裁减延时，针对不同芯片下发不同树立参数，挖掘最大潜能，同期完善咱们的硬件才气检测机制，尽可能隐蔽更多机型。

同期，咱们也作念了解码渲染一体化责任，幸免GPU和CPU的数据拷贝，升迁性能。另外，咱们也加入了客户端才气上报，格外监测机制，云表和客户端才气协商机制，字据客户端反映动态革新编码战术。

经过优化之后，咱们的云游戏视频引擎合座性能达到了业界最初水平。咱们的集中+编码合座耗时限度在5ms以内，客户端的解码+渲染的总耗时，windows平台在5ms以内，MAC在8ms掌握，Android手机的平均耗时在12ms掌握，咱们合座的端到端延时还是作念到了行业内最低。

面前咱们的云游戏视频决策还是在公司内最大的云游戏平台START全平台上线，支执了PC，出动和TV端，面前不错作念到玩云游戏与玩腹地游戏在体验上还是莫得判袂了。

以上便是我此次共享的主要实质，谢谢全球！