网警基础业务数据采集解决方案

互联网站备案管理与低俗信息整治要求

随着互联网的发展，互联网站已经成为信息传播的一种重要手段，不法之徒亦越来越多地通过互联网站进行色情、六合彩、赌球等非法交易以牟取暴利。自2009年初，国家相关部门狠抓互联网站备案管理工作以及低俗信息整治工作，以进一步净化网络环境，力求为人们提供一个绿色的信息共享平台。尤其是各级网监部门作为各地市公共信息网络与互联网安全直接管理部门，肩负巨大的责任和压力，需切实落实好国家颁布的互联网监督条例和管理规范。

工作现状分析

由于目前多数地方网警部门主要通过互联网公开查询系统，或直接通过运营商，被动地获取所需要的网络基础信息，无法实现对网络基础数据的主动获取以及非法网站和不良言论的主动发现，此前如色情、六合彩等非法网站以及各大论坛中发布的不良言论的发现和处理主要依靠外界举报和人工搜索。尤其是在2010年上海世博会和世界杯足球联赛召开、广州亚运会召开之际，如何采用有效技术手段，主动发现和预防管辖内互联网站不良信息的发布和扩散以及利用互联网进行非法赌球的情况发生，迫在眉睫。

需求分析

为进一步做好公共信息网络与互联网的安全保护管理工作、打击公共信息网络违法犯罪的行为，公安部要求各级网监部门需建立起一套完善的“基础业务数据管理系统”，旨在完善采集目前网监部门管辖内的基础业务数据，包括IP分配、域名分布、网站备案、信息发布等等。但是由于实际建设中面临较多的技术问题，如传统对基础业务数据的采集主要通过人工采集的方式进行，耗费大量时间、精力；数据入库的校验机制不甚完善，导致数据的准确率偏低；多次采集，导致大量重复数据被录入；数据更新的实时性和完善性得不到保证等，“基础业务数据管理系统”的建设面临巨大技术挑战。

解决方案

“安恒信息”自主研发的“明鉴互联网域名网站基础数据采集工具”中所使用的核心技术：全球基础域名库、先进的网络爬虫技术、智能识别技术以及智能分词技术等，对管辖内的IP地址进行完整的域名反查和备案验证，通过周期性地自动域名反查和备案验证，获取管辖内所有IP地址下挂的网站域名，并提取已备案网站的备案信息，如单位、地址、管理员、备案号、联系方式、身份证号码等数据信息，自动收录至公安部要求建设的“基础业务数据管理系统”，对未备案的网站进行自动记录，并告警；同时支持对所发现的网站进行自动敏感关键字检测，实时发现管辖内色情、六合彩网站以及各大论坛中发布的不良言论，对非法网站进行记录，并告警。

操作示意图：

实现目标

通过采用“安恒信息”自主研发的多项先进技术，不仅可以帮助地方网监部门实现“基础业务数据管理系统” 数据采集建设，确保所收录数据的准确性、一致性、实时性和完善性，同时在日常业务开展过程中，十分便捷实现了基础业务数据的综合查询和安全监管，有效节省时间、精力。