|
日志分析平台 |
|
日志分析是应用运维监控的强有效手段,当前的检测手段比较单一,随着应用日志规模增长,格式愈发复杂,当前手段无法快速处理并检测异常;当故障发生以后,日志也是帮助运维人员快速定位问题解决故障非常重要的信息来源,但目前查看方式多为运维人员登录主机后台直接查看,费时费力。
基于统一数据平台,对分散到不同主机、类型的日志进行统一采集,集中管理,基于模式识别、自然语言处理的多种大数据、人工智能技术,对日志进行规范化处理,并且支持自定义日志解析规则,支撑运营人员更有效率地进行日志分析。
■ 日志查看/检索:支持原始日志查看、检索、快速翻页,并支持通过SQL语句对维度信息进行自定义筛选。
■ 日志聚类:即日志模板识别,通过FT-Tree等算法,从原始日志中提取频繁出现单词地最长组合,支持自定义设置模板地多少,能够帮助运维人员从大批量、繁杂地日志数据中,归纳相似度高、同类信息进行分析。
■ 日志异常检测:提取日志模板后,可将不同的日志模板数据转化为指标数据,然后利用指标异常检测中的相关算法,进一步识别日志异常情况。
■ 日志快速分析:通过模板识别、规则解析等方式,提取日志中的指标数据、分类信息,通过日志快速分析,帮助运维人员定位问题。