计算机系统日志自动分析的实现

计算机系统日志自动分析的实现

维普资讯 doc.guandang.net

第1 6巷第 3期

计算机系统日志自动分析的实现

技术与方法

1日志分析的意义和仔住的问题

按时间倒序排列，新近发生的事件信息在日志文件的最前面；有的按时间正序排列，最先发生的事件

计算机在运行过程中，会出现各种各样的故信息在日志文件的最前面， 障。有硬件故障，系统故障、数据库故障和各种中 ( )日志信息形式不一样，有的是一行信息、 4一 间件故障，还有大量应用软件故障等。大部分故障个记录表示一个事件；有的是一行信息，一个记录信息都会及时记录到系统日志文件中。系统管理仅表示一个事件的一部分信息，几行信息，多个记员、数据库管理员等维护人员需要经常察看这些日 志文件，综合分析，找出故障原因，采取相应措施， 保证系统正常运行。因此，日志检查和分析在保障系统运行中是非常重要的一环。 但是，系统日志靠手工检查，存在大量问题： 些系统；

录共同表示一个完整事件； ( )不同系统日志文件使用方式不同，有的一 5直使用一个文件，不断扩展，容纳所有信息；有的使用两个或多个日志文件，交替使用；

( )不同系统的日志文件名不同，存放的位置 6 ( )计算机系统多，日志文件多，容易遗漏某不同，路径表示方式不同，运行在各个系统平台上 1的软件要能够正确找到处理的日志文件； ( )日志信息量大，分析、检查工作量大，难 2

( )系统日志每一次分析时，都应该从上一次 7免出现检查不全面的现象，也很容易忽略一些故障检查结束的地方开始，避免重复分析，浪费时间，浪信息。 ( )不

可能经常进行日中检查和分析，工作不 3 及时；

费系统资源，避免事件重复报告； ( )不同人员对于日志信息关注点不同，要求 8 也不同。

( )日志检查、分析技术性不高，工作烦琐、乏 4味，没有挑战性，技术人员没有积极性，不愿意做。 为此，开发一个日志自动分析工具，通过定期运行来替代人工日志分析，并把分析结果及时反馈给相应的维护人员，将能够大大减轻系统维护人员劳动强度，并全面提高计算机系统故障发现的速度，提高故障处理的及时性和准确性，避免不必要的遗漏，从而提高计算机系统安全运行水平。 针对上述问题，我们开发了一个系统日志自动分析软件 ( OGMO。在该软件中，采取了如下 L N) 措施：

3应对措施

( )通过关键字或其组合匹配，收集重要的日 1 志数据；

( )通过标准格式化日志数据，解决存储格式 2

2实现日志自动分析必须解决的问题

不一致问题；

( )通过过滤重复信息、按时间排序各类日志 3用计算机软件实现日志文件自动分析，特别是数据，实现规范化； 要开发一个通用的、能够在各种系统平台上运行、 ( )通过参数文件，提供日志存取路径和日志 4对各种日志文件都能够进行自动分析的软件，必须文件名； 解决以下几个问题： ( )通过运行日志产生命令脚本，产生日志文 5 ( )各类日志文件一般情况下不但记录故障信件，定位日志文件位置和文件名； 1 息，还会记录很多运行状态信息，使得日志文件信息量很大，有很多重复信息，而且对于运行维护并 ( )通过参数设定的方式处理多日志转换、重 6复分析和单行多行日志块的问题；

无实际意义。所以要实现日志自动分析，首先要能 ( )通过设定阀值等方式， 7提供连接数统计、平够沙里淘金，准确地把有用信息挑选出来，又要避均延时计算结果的告警信息等。 免遗漏关键信息； ( )不同系统平台，日志文件的存储格式不一 4日志自动分析工具的架构与功能 2 样，有的是文本形式，有的是二进制形式，要求运行在各个系统平台上的软件能够正确识别；

41 L MO . O

G N整体架构 ( )不同日志文件信息排列顺序不一样，有的 3 ( )析模块 ( l cn e o ) 1分 i fe o v r r:日志分析主模块l t _