腾讯云音视频AI技术，极速高清世界杯直播的“幕后功臣”

原创
作者：dumj 2018-07-12 20:41:54

新闻

云计算

人工智能 相信此次世界杯直播，央视网、央视影音视频的清晰度和流畅度应该给不少人留下了深刻印象。那么，高清直播的背后，腾讯云到底运用了什么新技术?为何央视会选中腾讯云?

【51CTO.com原创稿件】转眼间，世界杯已接近尾声。无论是否看球，是否懂球，世界杯期间人们的话题都少不了这个。回顾每届世界杯都有新科技助阵，让球迷更为真实感受世界杯的美，世界杯的激情与汗水。而今年的世界杯依旧离不开新科技的支持，比如云计算、人工智能，比如一改以往电视直播，采用新媒体平台进行网络直播。

五月底，中央广播电视台决定将世界杯新媒体版权分销。为了实现清晰流畅的直播效果，央视最终选择了腾讯云提供极速高清直播技术支撑。相信此次世界杯直播，央视网、央视影音视频的清晰度和流畅度应该给不少人留下了深刻印象。那么，高清直播的背后，腾讯云到底运用了什么新技术?为何央视会选中腾讯云?

体育赛事直播***的挑战：清晰度和流畅度

以往观众只能通过电视看世界杯，出现画面卡顿或者不清晰的情况很小。但是网络直播却不似电视直播那样稳定，因受网络带宽等因素影响，画面卡顿、音视频时间戳不同步等情况出现概率较高。

通常情况下，为了保证顺畅观看视频，用户不得不降低视频码率，选择流畅或者标清画质观看视频。可是对于世界杯这样重量级的赛事而言，这显然并不是观众和直播方想要的结果。事实上，视频在互联网上是最耗带宽的内容形式，实现视频高频运动画面的清晰度和流畅度，一直是互联网体育赛事直播***的挑战。

那么，如何才能保证用户观看直播的质量，保证画面清晰度?腾讯云是怎么做的?

[[236416]]

腾讯云高级产品经理李海琦

在近日举行的腾讯云媒体沙龙上，腾讯云高级产品经理李海琦表示：“对于视频企业来说，带宽支出占很大一部分运营成本，如果想为用户提供高清的视频体验，就必须增加视频流的码率，相应的带宽的总成本也会进一步提高。而腾讯云极速高清正解决了该问题，可以以更低的码率给用户提供更高清的视频。”

央视世界杯直播背后的技术——腾讯云极速高清

李海琦向记者表示，普通的转码技术存在诸多质量问题，例如：转码失真、低分辨率模糊、镜头抖动、噪声大、低码率锯齿块等。这些都是处理整个转码过程中，要处理的一些基本问题。

腾讯云极速高清技术(又叫“智能动态编码技术”)，主要利用机器深度学习，通过视频场景智能分类、编码参数匹配、前置处理、编码动态优化、码率智能控制、detail reduce、ROI处理等技术和流程，对直播或者点播视频流进行智能处理，以匹配***编码参数，从而以更低的带宽成本给用户提供更高清的视频直播流。

该技术会根据场景分类实时识别结果，结合视频源码率、帧率、分辨率、纹理和运动变化幅度等情况，以及综合机器负载和画质效果等维度，选择***编码参数。同时在画质处理上，它能够根据不同场景分类，结合视频源画面纹理和实时运动检测结果对画面进行锐化、软模糊、反交错、去块、降噪、色阶补偿、降帧等前置处理。

据介绍，腾讯云极速高清技术主要通过三个模块实现直播视频流智能编码工作，即：场景智能识别、视频动态编码、视频增强。

在场景的智能识别方面，极速高清技术服务期间，可实时对直播流进行检测分析，并匹配对应场景模型。根据视频流情况来识别视频直播的场景，是否是一场体育赛事，如果是，是足球、篮球还是网球。同时，针对单个场景也采取智能识别，假如是足球赛事，需要实时识别是否是近景，是否是远景，是否射门等等。然后，根据场景分类实时识别结果，进行视频动态编码。先匹配当前基础编码库，然后根据实时运动场景匹配下一个更细节的编码库。***，实现视频的增强。对观众关注的重点区域实现增强，非重点区域弱化。例如观众区域和广告牌区域可以弱化。

为何央视会选中腾讯云?

央视作为整个视频云行业都极其看重的客户，是各云厂商的必争之地。此次世界杯前，央视决定在世界杯期间引入提升比赛清晰度的新技术后，各云服务厂商都提供了自己的解决方案。

腾讯云在码率控制、去模糊、去块、反交错、运动搜索和分块决策等模块共进行了几十次服务升级和优化。经过与一轮又一轮的PK，央视网最终选择了腾讯云。在分辨率同为1024*576、帧率为25的情况下，腾讯云极速高清技术实现了更低的码率，为887kbps，其余两家云服务厂商码率为963kbps和941kbps。VMAF模型用来评估视频质量，腾讯云码率比友商少8%-10%左右。

“世界杯开幕赛期间，在各家直播问题频出的同时，正是凭借腾讯云极速高清技术支持的央视影音，一举实现了口碑的逆袭。”腾讯云高级工程师卢林表示。

[[236417]]

腾讯云高级工程师卢林

谈及这次世界杯直播的支持经历，卢林表示：“其实，早在今年春节，腾讯云针对世界杯比赛场景深度学习就已经开始。”今年春节后，腾讯云极速高清服务开始陆续接入一些头部游戏直播平台，并且取得了良好的反馈。

此前，腾讯云网络爬虫足球比赛视频超过了 500 场。针对每场比赛视频在高速运动场景、足球跟随模型训练、长远镜头优化、精彩回放 ROI 区域增强、观众表情捕捉等细节做一些视觉效果分析以及优化效果评估，来实现***动态编码的模型。

世界杯之前，腾讯云已在中超和英超赛事上向龙珠直播以及新英体育进行了极速高清服务的推广，并且开始对他们所建立的 AI 模型进行训练。他们发现，中超和英超赛事有着很多不一样的地方。中超的比赛节奏比英超要更慢一些，这就需要他们针对不同的模型进行更具针对性的调整。

而世界杯赛事的节奏大致介乎于中超和英超之间，但更偏向于英超的快节奏。所以，在世界杯期间他们又对之前的那套 AI 模型进行了与世界杯赛事更相符的匹配。

除此之外，在本就时间紧迫的世界杯前夕，腾讯云还拿出了全新的私有化方案，在央视网搭一整套腾讯云极速高清转码集群，支持央视网世界杯期间CCTV5频道直播，RTMP/FLV推拉源流，转码处理后支持央视RTMP/FLV/HLS拉流。

最终，在世界杯开赛前，腾讯云兼容了客户硬件设备以及软件代码模块的各种适配要求。目前，这条方案的各项服务指标一切正常，出流效果也超出预期，播出效果对比其他平台优势明显。

AI加持音视频，极速、高弹性

记者了解到，腾讯云极速高清技术是腾讯云音视频AI解决方案的最主要特性之一。

前不久，在2018腾讯云在“云+未来”峰会上，为解决游戏直播行业面临的成本、技术问题，腾讯云发布了音视频AI解决方案——明眸。音视频技术与AI人工智能的结合会擦出什么样的火花，腾讯云明眸能力就是***的证明。

腾讯明眸可实现智能判断视频场景类型，对不同类型的视频优化处理，以更低的带宽给用户提供更高清的观看体验。可以说腾讯视频云对AI的理解足够充分，腾讯明眸涵盖了极速高清、智能动效、智能编辑、智能字幕四大核心功能，可囊括泛娱乐直播、在线视频、短视频、广电新媒体等视频全产业链条，具体实现方面，包括窄带高清、超分辨率、动态编码、肢体语言识别、智能挂件、美肤美颜、人像检索、智能封面、智能标签、语音识别、实时翻译、混流输出等在内的多个应用场景让AI技术得以充分体现。

其中，极速高清服务通过AI技术，明眸可智能判断视频场景类型，对同一个视频里的不同段，应用完全不一样IBP帧类型、量化参数QP、分辨率等编码参数，尽量在不降低视频质量情况下降低视频码率，减少CDN带宽。

凭借腾讯多年来在视频领域的资源、技术积累，腾讯云构建了视频云生态，不仅为企业提供技术支撑，更与企业达成资源方面的合作，助力80%的Top直播企业发展。在“云+未来”峰会上，腾讯云发布的全新音视频AI解决方案以及Tencent-RTC，使其生态得到了进一步的完善和进化。

【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】