网易云信重点突破 直击音视频技术痛点

原创
作者：赵立京 2018-05-22 13:09:57

云计算 网易云信在音视频方面耕耘数十年，在技术与市场方面积累了大量经验。近日，51CTO对网易云信多媒体资深技术架构师吴桐进行了专访，就音视频通讯领域的技术和市场进行了深入探讨。

【51CTO.com原创稿件】医生和患者之间利用音视频进行远程诊疗，在门禁门铃上通过远程音视频对来访者进行录像和开关门操作，在机器人或其他智能家居上通过音视频通信模块实现对亲人的远程陪护，通过线上一对一陪练的方式进行音乐教育…这些在以前看似不可思议的场景，现在都已经真实存在了，而这一切都得益于音视频为用户带来的沟通便捷性。

网易云信在音视频方面耕耘数十年，在技术与市场方面积累了大量经验。近日，51CTO对网易云信多媒体资深技术架构师吴桐进行了专访，就音视频通讯领域的技术和市场进行了深入探讨。

采访伊始，吴桐介绍了网易云信音视频近期的一个成功案例：VIP 陪练。VIP陪练的模式是，一端连接在家练琴的学生，另一端连接陪练的老师，老师对学生进行远程的练习指导。音乐教育的特殊性决定了其技术开发和功能部署是一个专门化的细分领域，而音视频技术作为在线教育模式的核心底层技术是需攻破的首要“堡垒”。在线音乐创新领军平台VIP陪练依托于网易云信的解决方案，实现的在线一对一陪练模式是当下在线音乐平台打破音视频技术瓶颈，实现教学模式创新的典范。

完整的技术能力

音视频研发看起来很酷，但是技术开发上却有着重重难关要过。谈到这些年网易云信在音视频研发领域遇到的困难，吴桐表示，音视频研发包括客户端和服务端，而客户端的终端设备种类繁多，这些终端设备底层的音视频硬件的标准不一致，这就要在终端的适配方面做大量工作。回声消除、用户的接入效果等都是网易云信音视频曾经遇到过的难题。

网易云信音视频有着一整套的专业技术开发，包括连麦、群聊、快聊等具体的聊天模式的技术能力，以及各类基于各种场景需求的沟通模式的技术能力。并且，网易云信音视频在采集、编码、传输、解码、渲染等各环节均有着专业的技术能力，可以确保各类机型的匹配、音视频技术的兼容，以避免高并发、弱网等复杂环境下出现延时、卡顿、丢包等现象。

WebRTC的进一步优化：NRTC

WebRTC使一直封闭和高端的实时音视频通信领域受到了不小的冲击。开发者可以以相对较少的成本或免费就能为自己的应用和设备加入远程音视频通话和协作的功能，尤其是在社交通信、企业协作、在线教育、在线医疗、智能家居、车联网这些行业，更能通过音视频通话能力的应用开拓更多的应用场景和领域，

WebRTC在Web端虽然有着诸多优势，但是作为一项开源技术，WebRTC并不***。例如，面临低带宽、高并发、高丢包等复杂的网络环境时，WebRTC通常都无法保证信息的传输质量。还有可能由于WebRTC的适配问题导致用户无法连麦，或者用户在音视频通话过程中频繁出现回声、啸叫等情况。如何更好地优化WebRTC，从而为用户带来更高效的音视频通讯应用也成为关键。

网易云信自研的全功能工业级的音视频技术框架NRTC(NETEASE Real-Time Communication)，是网易云信基于多年音视频研发经验形成的全面、灵活、易用的工程化解决方案，其目标就是降低音视频功能开发门槛，帮助用户实现便捷化、快速化开发和部署。

在技术上，NRTC是同时适应于Web和Server开发的完整的解决方案，可帮助用户实现多点音视频通信。在功能上，NRTC提供了包括直播、音视频通话等在内的多元化的音视频通信功能。在应用场景上，NRTC可面向音视频交友、在线教学等多种场景，提供有专门的解决方案。NRTC以全面的技术、功能和场景应用，帮助用户切实降低音视频开发门槛。

NRTC在传输端采用私有协议，保障了音视频通信功能在开发过程中能灵活应对业务需求、开发环境的要求。此外，基于传输层私有协议，用户可以很容易的扩展媒体包，无需遵循太多开源技术规定的标准，可基于实际情况做简化和优化。

依托简单易用的SDK，NRTC真正实现了音视频研发的工程化，让音视频开发用易用的开发工具即能实现多元化的功能部署。

目前，网易云信已经为网易云音乐、网易云课堂、网易新闻、网易有道等众多网易产品提供全套实时音视频技术方案及支撑，同时也为诸多的游戏以及妙克VIP陪练等接入了音视频功能，使用户轻松实现线上实时问诊、视频陪练等。

吴桐总结说，WebRTC的核心优势就是在Web端可以做成一个免插件的接入。今后，WebRTC必将在教育、医疗等场景下有越来越多的应用。

目标清晰，拥抱未来

谈到网易云信音视频未来的发展，吴桐明确表示，有以下三个方向。

1. 在流畅度和清晰度上下功夫。

流畅度和清晰度是实时音视频领域永远的核心。网易云信音视频必将投入足够的人力、物力在这个方面继续耕耘，让音视频更流畅、更高清。

2. 适配更多的垂直类客户应用场景

实时音视频的应用场景越来越多、越来越细，要想在市场长久立足，就需要去主动适配更多的垂直应用场景，使用户在自己特定的领域更好的使用音视频。

3. 更多的调研和尝试

前沿技术不断涌现，AI、VR…等等，这些前沿技术与音视频的结合，是网易云信音视频未来调研和尝试的方向。

【记者视点】

随着直播授课进入教育行业，直播答题进入广电行业，音视频技术的创新已经到了风口浪尖，带来了***机遇，而机遇就意味着挑战。音视频行业的标准正随着数字化进程飞速发展，行业产业链逐渐成熟，分工也更加细化。在如今竞争激烈的市场中，唯有夯实基础，在场景中千锤百炼，才能立于不败之地。

嘉宾介绍

[[230035]]

吴桐，网易云信多媒体资深技术架构师。浙江大学硕士毕业，加入网易后深度参与了网易UU网游加速器、易信、网易云信等项目。现任网易云信流媒体服务器组技术负责人，负责实时音视频、互动白板、直播、互动直播与WebRTC网关等项目的架构设计与研发，对音视频、高性能服务器以及网络通讯等领域均有多年的工作与项目经验。

【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】