讲述一个严重依赖云的互联网公司背后的技术

作者：SDK.cn 编译 2015-11-16 11:13:58

云计算 Netflix公司于1997年由Marc Randolph和Reed Hastings在加利福尼亚州的Scotts Valley成立，拥有30名员工以及925 按时付费人员。Netflix是现在全球领先的互联网电视网络公司，拥有来自50个国家6千9百万以上的订阅用户，每月电视节目及电影观看时长超过一百亿小时。他们对外非常透明，并在网上发布了很多信息。我们收集了这些信息并将我们认为最有趣的内容分享如下。

摘要：一个现代化成熟的严重依赖于 Cloud 的互联网公司背后的技术是怎样的?例如，Netflix的电影是存在S3上的，每部电影50多个版本(不同画质音质)然后分发到各地的CDN。

“在研究和深入挖掘发展之道的过程中，我们屡屡遇到Netflix。他们的故事是很公开的。在Bryan的帮助之下，这篇文章是我们的第一次合作发布。我们收集了来自互联网的信息。”

–Chris / ScaleScale / MaxCDN

看看我们认为的Netflix的有趣之处

Netflix公司于1997年由Marc Randolph和Reed Hastings在加利福尼亚州的Scotts Valley成立，拥有30名员工以及925 按时付费人员。Netflix是现在全球领先的互联网电视网络公司，拥有来自50个国家6千9百万以上的订阅用户，每月电视节目及电影观看时长超过一百亿小时。他们对外非常透明，并在网上发布了很多信息。我们收集了这些信息并将我们认为最有趣的内容分享如下：

发展文化

Netflix有一个关于文化的著名演讲，其概念是关于人力资源的重新思考。他们关于发展员工的很多策略都紧扣这个演讲所提出的原则。这是他们的文化的重要背景，让我们更好地了解他们的软件技术规划及成功的原因。

依赖众多亚马逊产品

Netflix的基础设施建于亚马逊EC2，而来源于电影制片厂的数字电影母版存储在亚马逊S3。所有影片都由云机器根据其视频分辨率和音频质量被编码为50多个不同的版本。存储在亚马逊的数据超过了1PB。这些数据被发送到内容分发网络以推送内容到本地ISP(互联网服务供应商)。

Netflix在后端使用了大量的开源软件，包括Java，MySQL，Gluster，Apache Tomcat，Hive，Chukwa，Cassandra和Hadoop。

支持许多设备

在Netflix的大量编解码器和比特率的组合意味着“一部作品被编码120次之后才可以交付给任何流媒体平台”。

尽管Netflix采用自适应比特率流媒体技术来调整视频和音频的质量以符合客户的下载速度，同时也能供用户选择在其网站上的视频质量。

你可以通过带有Netflix应用程序的所有联网设备进行观看，如电脑、游戏机、DVD或蓝光播放器、高清电视、机顶盒、家庭影院系统、手机或平板电脑。

他们支持以下的编解码器不同的比特率，根据设备和网络播放作品：

• 视频–VC-1, H.264 (AVC), VC-1, H.263, H.265 (HEVC)
• 音频– WMA, Dolby Digital, Dolby Digital Plus, AAC and OggVorbis

#p#

Netflix开放连接CDN

Netflix的开放连接CDN提供给拥有超过10万用户的较大型ISP。他们用一个特制的低功率高密度存储的设备缓存在ISP数据中心的Netflix内容，以降低网络传输成本。这个设备运行FreeBSD操作系统，Nginx和Bird Internet路由守护程序。

[[156135]]

调压算法

2009年Netflix举办了一场Netflix大奖赛。他们公开一批匿名数据，允许参赛团队使用以得出更好的算法。他们从获胜的团队中得到了现有算法10.06%的提升。Netflix本想再举行一场Netflix大奖赛，但最终由于FTC(联邦贸易委员会)对隐私问题的考虑而取消。

Netflix的推荐系统包含许多算法。用于生产系统的两个核心算法是有限玻尔兹曼机(RBM，Restricted Boltzmann Machines)和一种称为SVD+ +的矩阵分解法(Matrix Factorization)。这两种算法用线性混合方式来结合产生一个单一的更高精度的估算值。

RBM是被修改为可以进行协同过滤的神经网络。每个用户都有一个RBM，其输入节点都代表用户评分过的电影。

SVD + +是一种非对称形式的SVD(奇异值分解)，使用用像RBM一样的隐含信息。它是Netflix大赛奖的获奖团队开发的。

Netflix团队在他们的技术博客上的报道：Learning a Personalized Homepage

开源项目

https://netflix.github.io/。Netflix有一个优秀的工程博客，他们最近发布了一个帖子叫做The Evolution of Open Source at Netflix。

大数据

• Genie：一个强大的，基于REST的抽象体，应用于我们的各种数据处理框架，尤其是Hadoop。
• Inviso：提供了对我们的Hadoop工作和集群性能的详细见解。
• Lipstick：以一种清晰的视觉方式展示了Pig工作流程。
• Aegisthus：从Cassandra批量抽象数据以供下游分析处理。

建造和交付工具

• Nebula：Netflix分享其内部基础设施建设的工具。
• Aminator：一个用于创建EBS AMI的工具。
• Asgard：亚马逊Web服务(AWS)用于应用程序部署和云管理的Web界面。

一般运行服务和程序库

• Eureka：Netflix云平台服务搜索
• Archaius：分布式配置。
• Ribbon：弹性和智能化进程及服务通信。
• Hystrix：提供单一服务调用外可靠性。在运行时隔离延迟和容错。
• Karyon和Governator：JVM容器服务。
• Prana sidecar：提供实例内代理功能。
• Zuul：在云部署的边缘提供动态脚本代理。
• Fenzo：为云计算本地框架提供先进的调度和资源管理。

数据持久性

• EVCache和Dynomite：用于大规模Memcached和Redis。
• Astyanax和Dyno：更好地使用云数据存储的客户端库。

分析、可靠性和性能

• Atlas：时间序列遥测平台
• Edda：跟踪云变化的服务
• Spectator：与Atlas易集成Java应用程序代码
• Vector：以最小的花费获取高分辨率主机级指标。
• Ice：获取当前成本和云使用趋势。
• SimianArmy：Netflix实例随机故障测试。

安全

• Security Monkey：有助于监测和保护的基于AWS的大环境。
• scumblr：利用全网针对性搜索定位特定安全问题以进行调查。
• MSL：一种可扩展的、灵活的安全消息传递协议，解决了许多安全通信使用情况和需求。
• falcor：通过虚拟的JSON图以单域模型展现远程数据源。
• restify：Node.jsREST架构，专门用于Web Service API
• Rxjs：JavaScript的反应式编程库

原文链接：https://www.sdk.cn/news/1378