日志易深化应用机器学习技术，让日志分析更智能

【】最近，搞应用开发的小王遇到了十分头痛的问题。公司产品在实际的应用中，产生了大量的用户日志数据，这些日志的存储、统计、分析和查询可难倒了他和同事。因为服务器比较多，日志难以归集;大量的日志数据需要备份处理，还要进行相关的统计和查询分析。

目前，他们采取的方案就是scribe进行日志归集后交给Hadoop处理。但是因为对于Hadoop研究不够深入，处理起日志来挑战较大。他们亟需一个可靠的便捷的解决方案。

其实，小王面临的这种情况并不是个例。近日，日志易产品总监饶琛琳在接受记者采访时表示，无论是服务器、网络，还是应用，只要在运行中就会产生数据，形成日志。产生的这些日志本身是没有价值的，只有加以分析关联才会产生价值，了解到网络中发生的事情，是否遭遇安全攻击等，从而提升业务质量，提高系统或应用的安全性。然而，在日志的处理过程中，每个IT运维人员都会遇到这样那样的问题。而日志易这款产品的目标便是帮助企业，帮助IT人员，挖掘日志的价值，解决日志分析难题。

[[210505]]

日志易产品总监饶琛琳

企业日志分析难题解析

目前，有的企业有能力有技术管理日志，挖掘其中的价值，但是有的企业还没有足够的能力挖掘日志价值。不同行业在日志的处理方面存在着很大的区别。互联网企业以及互联网化比较好的企业基本上已经从单纯的基础记录需求走向了数据分析需求，日志走向集中化。而互联网化较差的企业和一些小企业还将日志放到自己的服务器上，甚至有时暂时关闭日志收集分析，碰到问题再临时开启，或者临时查看服务器。这两类企业在不同的发展阶段也有不同的需求，遇到不同的疑难杂症。

对此，饶琛琳指出，在日志的管理上，前一种类型的企业常见难点在于：很明确自己要分析的内容，但是无法做到及时分析。或者因为运维人员偏多，要做的分析人员上手难度大，写代码不是那么方便。另一种类型的企业更在于业务提升，当有跨集群、跨机房等需求的时候，缺乏一个快速分析日志的手段。

如何让日志分析更容易?

为了解决以上企业所面临的难题，让企业的日志分析更容易，挖掘出日志的最大价值。饶琛琳表示，基于对企业用户需求的深入了解，一方面，为了让企业的日志分析更加灵活，让企业的运维人员在不用深度了解编程语言的基础上，达到快速灵活分析数据的效果。用户可以通过日志易SPL(Search processing language)搜索处理语言，在搜索框中编写复杂查询语句，进行各种统计分析。“运维人员不需要去处理复杂的底层逻辑，只要知道我要哪个命令去干什么活的，那就行了。”

另一方面，以往，在日志管理分析能力不足的企业中，IT技术人员会采用多个开源软件去实现。现在，通过日志易，企业可以部署一个日志集中管理平台，实现日志数据的采集，存储，分析等操作，减少人员利用开源软件的学习成本，提高工作效率。

[[210506]]

据记者了解，日志易是一款专业的海量日志搜索分析产品，面向企业提供一站式的日志分析解决方案，实现对日志的集中采集和实时索引，在统一平台完成日志实时检索、安全告警、统计报表及关联分析等多种功能，帮助用户进行线上业务实时监控、业务异常原因定位、业务日志数据统计分析及安全与合规审计。目前，日志易签约用户已有近两百家，在金融、能源、互联网、电子商务、运营商等多个行业得到广泛应用。

日志易发布1.10.1版本，深化对机器学习技术的应用

近日，日志易再升级，推出了1.10.1版本。此时，距离1.10版发布，仅仅过去2个月。

据饶琛琳介绍，新版本主要有两大亮点：一是，在原有机器学习算法指令的基础上，深化对机器学习技术的应用，进行了参数调优，提供了智能的模式发现功能。所谓模式发现，是日志易以聚类算法实现的对日志文本分析的功能，通过该功能用户可以了解日志的类别。二是，增强了对复杂结构数据的处理和分析能力。利用开源项目做日志分析时，一些开源的底层技术实现上很难支持嵌套的数组，无法对复杂数据结构过滤并进行精准的统计，只能回复是否有查到。新版本日志易增加了对场景的统计处理功能，可以精准定位你要的是哪个数组的第几个元素里的哪个哈希值。

此外，该版本还完善了对告警事件的分析处理功能，添加了全新的知识库模块、告警插件的管理模块，改善了统计图表配置，仪表盘实时统计和Agent管理界面等模块的交互体验。

饶琛琳表示：“与其他同类产品相比，日志易具有先发优势，在很多的细节处理上高效稳定。拥有深厚的大数据量的维护经验，能够满足大企业的需求。现在，有的日志易客户每天新增的数据量达到了二三十个TB。就目前国内来说，在同类产品里是一个很稀缺的使用状态。”

最后，谈及日志易未来的发展规划，饶琛琳说：“一方面，我们希望构建一个生态圈，促进客户间的相互交流沟通，分享经验。我们会把固化的经验放到一个基于日志易上的APP，当两个用户的需求相似时，可以把之前固化的APP拿过来使用。另一方面，我们将在机器学习，人工智能方面继续突破。”

【原创稿件，合作站点转载请注明原文作者和出处为.com】