AI一句话骗走24万美元！开源模型要背锅？

[[275982]]

 当地时间 8 月 30 日，《华尔街日报》消息：有犯罪分子使用基于人工智能的软件冒充某能源公司德国总部 CEO 的声音，对英国分公司进行欺诈，并成功骗取了 220,000 欧元（约 243,000 美元）。网络犯罪专家称这是一种利用 AI 进行黑客攻击的不寻常案例。

“我是你老板，给我打钱”

今年 3 月，犯罪分子利用 AI 语音合成软件，合成了英国某能源公司德国总公司 CEO 的声音，冒充老板对英国公司的负责人进行欺诈，让他在一小时内紧急将资金汇给一家匈牙利供应商，并保证这笔资金将立即得到偿还。

报道称，该公司首席执行官表示：由于听到了熟悉的轻微德国口音和他老板的声音模式，所以对于转账的指令没有任何怀疑。但最后的结果是，不仅转账的费用没有得到及时返还，骗子们还要求另一笔紧急汇款。然而这一次，这位英国分公司负责人拒绝了付款请求。

最终，这笔转到匈牙利的资金最终被转移到了墨西哥和其他地方。当地警方尚未确定此次网络犯罪行动背后的嫌疑人。

据了解，该公司由欧拉爱马仕集团 (Euler Hermes Group) 承保，由集团负责支付全部费用。公司名称和相关各方均未披露。

声音版 DeepFake 成为新的犯罪手段

有网络安全专家表示：基于人工智能的网络攻击仅仅是未来企业和组织可能面临的主要难题的开始。尤其当这种性质的攻击被证明是成功的，同类案件发生的频率可能会成倍增加。

随着模仿声音工具的改进，犯罪分子利用这些工具牟利的可能性也在增加。通过在电话中伪装身份，威胁受害者从而更加容易获得原本属于私人的信息，并利用这些信息达到别有用心的目的。

早在今年 7 月，以色列国家网络理事会 (Israel National Cyber Directorate) 就发出了“新型网络攻击”的警告，这种攻击利用人工智能技术冒充企业高管，指示员工在网络上进行转账等恶意活动。

专家表示：与人工智能相关的同类犯罪已经造成了第一个受害者，这一事实应该引起关注。

去年，设计反欺诈语音软件的网络安全公司 Pindrop 报告称：从 2013 年到 2017 年，语音欺诈案件增加了 350%，大约在 638 个电话中就有 1 个是欺诈类 AI 软件拨打的。

也有业内人士认为，为了保护公司免受经济和声誉的影响，重要的是要通过后续电子邮件或其他替代方式验证“语音”指令。

基于人工智能的工具的兴起有其优点和缺点。一方面，它为探索和创造提供了更广阔的空间；另一方面，它也为新型的犯罪、欺诈等手段提供了生长的“温床”。

开源模型成“罪魁祸首”？

前几天，在中国火爆的一款名为“ZAO”的应用软件也被质疑恶意收集用户面部信息，更有专业的法律人士发现，这款软件的用户条款里存在“打擦边球”的漏洞。北京时间 9 月 4 日，工信部对 ZAO 软件开发公司进行了约谈，并要求整改。

跟“ZAO 事件”一样，声音版 DeepFake 也在技术论坛上引发了人们对于开源模型的担忧。在 Reddit 论坛上，已经有不少人对此类事件展开了讨论：

开源社区中有许多正在进行的开源语音合成模型项目。此外，一些开源语音合成模型已在未经他人同意的情况下进行着声音训练。

这些模型可能会被滥用，我们不能在未经别人同意的情况下克隆任何人的声音。一个人的声音模型可以使其面临更高的骚扰和欺诈风险。

也有人从另外的角度提出建议：能否从保护受害者的角度是否可以采取一些措施？有些受害者甚至自己都不知道已经在无意中泄露了隐私。

我们不应该仅仅因为有恶意使用而禁止语音合成技术，正如我们不应该因为同样的理由禁止互联网一样。我们也不能期望每个人都能够跟上时代，并且清楚地了解机器 / 深度学习可能带来的新型威胁。在这里参与讨论的每一个人基本都知道“DeepFake”是什么东西，但是其他人呢？

一个让人有些无奈的事实是：参与讨论的大部分人都表示，无法阻止有人利用技术作恶，目前人们能做的，也只能是期待尽快立法来对部分技术的使用加以约束，并加强对普通用户的安全教育。

不过，也有人表示目前已有的在线模型质量其实并没有那么好：它们仍然需要 10-20 个小时的音频数据；在优化的硬件上，这些模型的实际推理速度为 16-60 倍；这些模型在自然度 (MOS) 方面的表现通常比串联语音合成差；它们在不同的场景下表现参差不齐，并不能很好地模仿和表达声音。

但是，技术终将走向成熟，它会更具有伤害别人的潜力，使用者到底会用它来做什么，仍然是一个巨大的不可控的因素。