大模型浪潮下，网络安全面临哪些挑战？

大模型无疑是2023年最火热的话题之一。ChatGPT的诞生吹响了大模型竞赛的号角，科技企业纷纷推出自家大模型产品，一场大模型的狂欢就此拉开帷幕。

大模型全称大型语言模型(Large Language Model，LLM)，是指使用大量文本数据训练的深度学习模型，可以处理多种自然语言任务，如文本分类、问答、对话等。据不完全统计，国内已经发布超130个大模型。

争议与热度并存

不过，伴随热度而来的还有争议，争议的核心点就在于大模型的安全性，一方面，大模型的幻觉问题，可能会向企业的IT团队提供错误的输出，这将导致误报或不可操作的修复事件建议。另一方面，利用大模型创建令人信服的网络钓鱼消息、字典攻击、生成恶意代码等将对网络安全带来极大的风险挑战。具体来看：

第一，创建令人信服的网络钓鱼信息。大模型可以用来创建不同类型的信息，并具有强大的创造力。网络攻击者除了能写出富有创意的句子外，还可能利用从目标个人的社交媒体账户中抓取的数据来训练大模型。以此为背景，大模型可以帮助网络攻击者为任何形式的活动生成非常有创意的、个性化的网络钓鱼信息。

第二，字典攻击。字典攻击是一种密码破解技术，它基于暴力破解的原理，通过尝试使用预先准备好的单词列表或字典来猜测用户的密码。大模型可以抓取IT员工之间的对话或日志文件中的数据，在这些信息片段上进行训练，然后用于生成专门针对企业进行的字典攻击。

第三，恶意代码生成。网络攻击者可以使用大模型来欺骗或直接使用它们来生成恶意代码。然后，该代码可用于构建恶意软件功能，或在与之关联的IT基础设施的内部组件中执行恶意操作。

第四，训练数据中毒。大模型训练数据库被虚假信息破坏是企业应该特别警惕的风险。大模型可能会被攻击者毒害，从而忽略某些提示或漏洞，或者被训练执行某些只有攻击者知道如何利用的任务。

可以说，大模型带来的网络风险挑战是多方面的，需要从多个方面采取措施应对。

如何降低大模型引发的相关风险？

为了降低大模型对网络安全构成的风险，企业在模型训练和数据检索期间采取某些行动至关重要。这些措施包括：

第一，对抗训练。对抗性训练包括通过向大模型提供网络攻击实例来教授他们如何识别威胁。网络攻击实例可以是用于恶意输入注入的常见提示，也可以是非常成功的网络钓鱼消息。一旦大模型理解了相关的恶意令牌和语法，就可以执行更有效的停止序列，甚至发出有关恶意活动的警报。

第二，防御蒸馏。防御蒸馏是一种更高级的对抗训练，涉及两种机器学习算法。第一个“教师”模型可以访问原始训练数据，而第二个学生模型只在第一个“教师”模型的输出上进行训练。通过预测模式，“学生”模型创建了对“教师”模型输出的期望。当“教师”模型输出不符合它的预测时，就很容易识别来自恶意行为者的欺骗或注入实例。

第三，联邦学习。联邦学习是一种训练大型语言模型的分散方法。这种方法不允许算法访问原始数据的主要存储库，而是使用本地数据训练较小的模型，并将单独的信息存储到大型数据库中。然后，使用提供给该数据库的信息对大模型进行训练。

第四，梯度掩蔽。攻击者对大模型等机器学习模型使用的一种方法是快速梯度符号法(Fast Gradient-Sign Method，FGSM)，包括计算期望和模型输出之间的损失或变化。然后，攻击者使用损失来计算梯度，并小心地利用输出结果来增加模型的损失，这使得模型对输入进行错误分类，或者对类似的输入产生错误的结果。梯度掩蔽包括添加正则化元素，在每次计算梯度时修改梯度。这样，攻击者就很难生成可利用的(非零)梯度。

第五，训练数据加密。训练数据加密可以对数据进行匿名处理，以消除个人身份识别，也可以有效地防止大模型被恶意利用。

此外，还可以通过建立完善的安全管理体系，加强安全培训和意识教育，提高员工的安全意识和技能，以应对大模型带来的风险挑战。