超越黑名单，运用机器学习检测恶意URL——Blackhat Asia上的“防守”之音

3月28-31日，一年一度的Blackhat Asia(亚洲黑帽大会)如期在新加坡海湾金沙酒店举行。山石网科美国研发团队的论文“超越黑名单，运用机器学习检测恶意URL”(“Beyond The Blacklists: Detecting Malicious URLS Through Machine Learning”)受到了会议专家组的青睐，山石网科受邀在会上发表相关主题演讲。

[[188428]]

创立于1997年的Black Hat是安全领域的顶级峰会，逾19年来向与会者提供信息安全研究、发展和趋势方面的最新信息。

[[188429]]

对于从全世界蜂拥到新加坡的近万名黑客技术的信徒来说，讲台上的大牛，不仅框定了本年度世界黑客的研究潮流，也喷薄着挑战未知、突破一切的黑客精神。登上这个舞台，向世界分享自己的研究成果，对于大多数黑客大牛来说，也有如站在奥运会的领奖台上，散发着非同寻常的意义。

[[188430]][[188431]]

此次峰会共有33篇论文入选，其中有3篇来自中国的网络安全厂商，山石网科以高超的研发技术水准在众厂商中脱颖而出，在这个人人探讨如何攻击的黑帽大会，以如何“防守”的主题成为了整场会议的独特亮点，将来自中国的安全研发思路输出给全世界的顶级黑客们。

[[188432]]

下面为大家分享这篇论文的主旨内容：

许多类型的现代malwares使用基于http的通信。与传统的AV签名, 或系统级的行为模型相比，网络级行为签名/建模在恶意软件检测方面有一定的优势。在这里，我们提出一个新颖的基于URL的恶意软件检测方法行为建模。该方法利用实践中常见的恶意软件代码重用的现象。基于大数据内已知的恶意软件样本，我们可以提炼出简洁的功能模型，代表许多不同的恶意软件中常用的相似性连接行为。这个模型可以用于检测有着共同的网络特征的未知恶意软件变种。

我们专注于http连接，因为这个协议是最主要的恶意软件连接类型，用僵尸控制网络连接，得到更新和接收命令后开始攻击。检查在http连接层次的特征已被证明是一种来检测恶意连接的有效方式。

在我们的下一代防火墙设备中，我们有算法使用静态黑名单和特征签名来检查连接域名，URL路径和用户代理以确定是否恶意。结合域生成算法(DGA)检测的机器学习算法，我们取得很好的恶意URL检出率。然而，最复杂和富有挑战性的部分是查询URL字符串连接的动态内容。因为这些字符串非常多样化，几乎可以是任何东西，导致静态签名规则变得不那么有效。参数的变种和进化使签名生成费时。它还需要签名库为新连接特性执行频繁的更新。

我们这个演讲谈到的新颖的聚类算法是非常高效的，这个算法不仅可以检测已知的恶意URL，并且也能检测到从未暴露(0-day)的新变种。这个模型可以对于来自全球的每周1万条恶意软件样本库和8万URL地址库进行机器学习。