ChatGPT如何推动网络犯罪“大众化”

自OpenAI于11月底推出ChatGPT以来，各方的评论人士都在担心人工智能驱动的内容创作将产生的深远影响，尤其是在网络安全领域。事实上，许多研究人员担心生成式人工智能解决方案将使网络犯罪大众化。

虽然安全团队也可以将ChatGPT用于防御目的，例如测试代码，但其降低了网络攻击的进入壁垒/门槛，这无疑会进一步加剧威胁形势的复杂程度。

网络犯罪的“大众化”

从网络安全的角度来看，ChatGPT的诞生所带来的主要挑战是，任何人——无论其技术程度如何——都可以根据需要编写代码来生成恶意软件和勒索软件。

Tanium端点安全专家Matt Psencik表示，“正如ChatGPT可以用于帮助开发人员编写代码一样，它也可以(并且已经)被用于恶意目的。我们已经发现的几个例子是，要求机器人创建令人信服的网络钓鱼电子邮件，或协助逆向工程代码以找到可能被恶意使用的零日漏洞，而不是将它们报告给相关供应商。”

不过，Psencik指出，ChatGPT确实有内置防护机制，旨在防止该解决方案被用于犯罪活动。例如，它将拒绝创建shell代码或提供关于如何创建shell代码及逆向shell的具体说明，并标记恶意关键字，如网络钓鱼，以阻止请求。

但是，这些保护措施的问题在于，它们依赖于人工智能来识别用户试图编写恶意代码的企图，就这一点而言，用户可以通过重新措辞查询来混淆识别。

如何使用ChatGPT创建勒索软件和钓鱼邮件

虽然ChatGPT发布时间不长，但安全研究人员已经开始测试它生成恶意代码的能力。例如，Picus Security的安全研究员和联合创始人Suleyman Ozarslan博士最近不仅使用ChatGPT创建了网络钓鱼活动，还为MacOS创建了勒索软件。

Ozarslan介绍称，“我们从一个简单的练习开始，看看ChatGPT是否能创建一个可信的网络钓鱼活动，结果证明确实如此。我输入了一个提示，要求其写一封世界杯主题的电子邮件，用于网络钓鱼模拟，结果它在短短几秒钟内就用完美的英文创建完成了一封。”

在这个例子中，Ozarslan声称自己是一家攻击模拟公司的安全研究员，希望开发一个网络钓鱼攻击模拟工具，便“说服”AI生成了一封网络钓鱼电子邮件。

虽然ChatGPT意识到“钓鱼攻击可以用于恶意目的，并可能对个人和企业造成伤害”，但它仍然生成了这封电子邮件。

完成初次尝试后，Ozarslan又要求ChatGPT为Swift编写代码，Swift可以找到MacBook上的微软Office文件，并通过HTTPS将其发送到网络服务器，然后对MacBook上的Office文件进行加密。该解决方案的响应是生成示例代码，而没有提供任何警告或提示。

Ozarslan的研究实践表明，网络犯罪分子可以很轻松地绕过OpenAI的保护机制，要么把自身伪装为研究人员，要么混淆他们的恶意意图。

网络犯罪的上升使天平失衡

虽然ChatGPT确实为安全团队带来了积极的好处，但通过降低网络犯罪分子的进入门槛，它有可能加速(而非减少)威胁环境的复杂性。

例如，网络犯罪分子可以利用人工智能来增加在野网络钓鱼威胁的数量，这不仅会进一步加剧安全团队的负担，而且只需成功一次就可能引发大规模数据泄露，造成数百万美元的经济损失和无法挽回的声誉损失。

电子邮件安全提供商IRONSCALES的研发副总裁Lomy Ovadia表示，“在网络安全方面，ChatGPT可以为攻击者提供比目标更多的东西。对于商业电子邮件妥协(BEC)来说尤为如此，因为这种攻击依赖于使用欺骗性内容来冒充同事、公司VIP、供应商甚至客户。”

Ovadia认为，如果CISO和安全领导者依靠基于策略的安全工具来检测AI/GPT-3生成内容的钓鱼攻击，那么他们将注定失败，因为这些AI模型使用先进的自然语言处理(NLP)来生成几乎不可能与真实例子区分开来的诈骗电子邮件。

例如，今年早些时候，新加坡政府技术机构的安全研究人员创建了200份钓鱼邮件，并将其点击率与深度学习模型GPT-3创建的邮件进行了比较，结果发现更多的用户点击了人工智能生成的钓鱼邮件，而非人类用户生成的邮件。

好消息是什么?

虽然生成式AI确实给安全团队带来了新的威胁，但它也提供了一些积极的用例。例如，分析人员可以使用该工具在部署前审查有漏洞的开源代码。

HackerOne公司解决方案架构师Dane Sherrets表示，“今天，我们看到很多道德黑客正在使用现有的人工智能技术来帮助编写漏洞报告，生成代码样本，并识别大型数据集的趋势。这一切都表明，今天人工智能最好的应用是帮助人类做更多造福人类的事情。”

然而，试图利用生成式人工智能解决方案(如ChatGPT)的安全团队仍然需要确保充分的人力监督，以避免潜在的问题。

Sherrets补充道，“ChatGPT所代表的进步令人兴奋，但技术还没有发展到完全自主运行的程度。要让人工智能发挥积极作用，还需要人力监督以及进行一些手动配置，不能总是依靠绝对最新的数据和情报来运行和训练。”

正是出于这个原因，Forrester建议实现生成式人工智能的企业应该部署工作流和治理，来管理人工智能生成的内容和软件，以确保其准确性，并降低发布具有安全性或性能问题的解决方案的可能性。

不可避免的是，生成式AI和ChatGPT的真正风险将取决于安全团队或威胁行为者是否在AI攻防大战中更有效地利用自动化。