腾讯发现者揭秘：怎么应对TensorFlow的安全风险，修复有多难

使用谷歌人工智能开源框架 TensorFlow 的人都要瑟瑟发抖了，这次是该框架本身的问题。

　　12 月 15 日，雷锋网报道，腾讯安全平台部预研团队发现谷歌人工智能学习系统 TensorFlow 存在自身安全风险，可被黑客利用带来安全威胁。这次威胁还不小，攻击者可以生成 Tensorflow 的恶意模型文件，对 AI 研究者进行攻击，对受害者自身的 AI 应用进行窃取或篡改、破坏。该框架在谷歌、ebay、airbnb、twitter、uber、小米、中兴等公司均有使用，这意味着，影响范围不小。

　　12 月 16 日，雷锋网宅客频道与发现此次安全威胁的腾讯安全平台预研团队取得联系，探寻此次威胁发现的始末以及修复难度。

[[213659]]

　　以下是雷锋网宅客频道与腾讯安全平台预研团队的问答实录：

　　1. 到底问题在哪里，是什么问题？

　　腾讯安全平台预研团队：漏洞发生在 Tensorflow 处理 AI 模型的时候，属于逻辑型的漏洞。

　　2. 影响到底多大？

　　腾讯安全平台预研团队：所有 Tensorflow 版本，包括最新的移动版 Tensorflow lite。

　　成功的攻击（让 AI 研发或者开发人员使用有漏洞利用代码的 AI 模型）可以完整控制整个 AI 。危害取决于 AI 本身用于什么工作。如果是自动驾驶的 AI，就可以导致车毁人亡；如果是人脸验证的 AI，就可以误导验证逻辑。

　　引用一个第三方的观点。上海信息安全行业协会专委会副主任张威认为，此次发现的漏洞由于可以使他人获得人工智能应用场景里的系统权限，这也意味着其可以拿到很多顶层数据。而当前参与人工智能开发的企业多是算法和数据相结合，有关数据可能涉及核心秘密，因此风险较高。

　　他建议，政府应尽快组织筛查使用该套平台编程的部门，确定影响范围，尤其是涉及国家安全和国家秘密的敏感部门是否也使用过该套平台，同时在人工智能的编程平台上加强审查。

　　3. 12 月初，有消息称 TensorFlow、Caffe、Torch 这三大深度学习框架所使用的大量第三方开源基础库存在不少网络安全漏洞。你们这次的发现和前面这种安全风险有什么明显区别？

　　腾讯安全平台预研团队：以前其他团队发现的 TensorFlow 漏洞是 TensorFlow 使用的外部组件的问题（可以理解为手机使用的其他厂商的内存有问题而不是手机厂商自身的问题），这次我们发现的这个是 TensorFlow 自身的问题，是 TensorFlow 第一个官方承认的安全漏洞，官方也意识到 TensorFlow 的安全问题可能带来的危害，所以计划像其他大量使用的软件一样专门开辟一个安全公告页面。

　　4. 修复需要多久？修复难度在哪里？在这段“时间差”里，使用者怎么办？

　　腾讯安全平台预研团队：Google TensorFlow 工程师团队还在讨论修复方案，目前看需要重新设计 AI 模型输入处理机制，因为这本身可以算是处理机制的问题。对于 TensorFlow 使用者，等待 TensorFlow 版本更新即可。我觉得如果短期速成修复倒是可以比较快，长期来看还是要在处理 AI 框架的机制上有规避这一类风险的措施才行。

　　使用这个开源框架的人可能会遭到攻击，因为这是个尚未公开的漏洞，存在较大安全风险。这个漏洞出问题的点是在处理 AI 模型的时候，一个攻击场景是，黑客在网上提供一个 AI 模型给大家用，大家下载回来一运行就中招了。或者黑客能够控制某个系统的 AI 模型就能实施攻击。所以，使用 TensorFlow 的系统要注意不要使用有问题/被黑客修改过的 AI 模型，最终防范还是要升级新版本。

　　虽然利用这个漏洞进行攻击成本很低，但发现难度还是有的，而且我们是首先发现这个漏洞，我们判断，已经掌握这个漏洞的人应该很少或者没有。一般来说是跟随下一个版本修复，谷歌现在的想法是，想从机制上解决（会涉及到 Tensorflow 一些 API 的调整），所以，可能会慢一些，时间点也没有给。对 Tensorflow 的使用者来说，目前安心等官方出新版本升级比较好。

　　5. 谷歌怎么回应的？

　　腾讯安全平台预研团队: 提交报告后，谷歌第一反应是跟我们讨论，是否要在官网建立一个类似 Google android 那样的安全页面，做安全致谢以及给研发人员的安全指引，目前这个安全页面已经在制作中。

　　谷歌与安全研究员的关系来说是很好的，他们是很有安全意识的，对安全研究者挺好，腾讯的安全漏洞奖励计划也参考了谷歌漏洞奖励计划。TensorFlow 这个漏洞应该还没有纳入谷歌漏洞奖励计划，相信未来会纳入。之前我们也给谷歌的安卓报过漏洞，拿过奖金。

　　这次比较特殊的地方是，这次是谷歌旗下 TensorFlow 的首个漏洞，官方没有处理过类似事件，可能还没有建立这个流程，这块我们也在和官方探讨，推动他们建立安全漏洞报告处理流程，更好地与安全研究团队协作。

　　6. 你们还想强调的点。

　　腾讯安全平台预研团队：AI 框架近两年被用得很多，但是都没有关注其安全性，这肯定会带来安全风险，我们也会持续关注这里。目前已知的公开发现 AI 框架漏洞有两个，一个是之前 360 发现的三个 AI 框架引入的第三方组件带来的漏洞，另一个是此次我们发现的框架本身的漏洞。经过这两次普及，安全研究员会持续关注，未来这里肯定还有更多的漏洞被发掘出来，当然好的一面是漏洞会减少，也会提高大家对这里的安全意识。

　　比如，这次如果我们能让谷歌把 TensorFlow 加入到漏洞奖励计划 /  TensorFlow 建立安全漏洞处理机制，安全性肯定会大大提升。