Web服务器日志统计分析完全解决方案

Web服务器日志统计分析完全解决方案

　　　　本文由黑冥雾海贡献

　　　　ｄｏｃ１。

　　　　Ｗｅｂ　服务器日志统计分析完全解决方案　摘要　对于所有的　ＩＣＰ　来说，除了保证网站稳定正常运行以外，一个重要的问题就是网站访问量的统计和分　析报表，这对于了解和监控网站的运行状态，对提高各个网站的服务能力和服务水平是必不可少的。　通过对　Ｗｅｂ　服务器的日志文件进行分析和统计，　能够有效掌握系统运行情况以及网站内容的受访问情　况、加强对整个网站及其内容的维护与管理。本文对　Ｗｅｂ　服务器日志分析的原理和技术进行讨论。　请注意本文已刊载在《开放系统世界》２００３　年第二期，该文章版权属于该杂志所有，请勿随意转载，　请注意　转载请保留该声明　关键字：　关键字：ｗｅｂ　服务器　日志　统计分析　ｃｒｏｎｔａｂ　ｃｒｏｎｏｌｏｇ　ａｐａｃｈｅ　摘要：　摘要：对于所有的　ＩＣＰ　来说，除了保证网站稳定正常运行以外，一个重要的问题就是网站访问量的统　计和分析报表，这对于了解和监控网站的运行状态，对提高各个网站的服务能力和服务水平是必不可　少的。通过对　Ｗｅｂ　服务器的日志文件进行分析和统计，能够有效掌握系统运行情况以及网站内容的　受访问情况、加强对整个网站及其内容的维护与管理。本文对　Ｗｅｂ　服务器日志分析的原理和技术进　行讨论。　文章相关软件：　　　　ｗｅｂａｌｉｚｅｒ　ｃｒｏｎｏｌｏｇ　Ａｐａｃｈｅ

　　　　ｈｔｔｐ：／／ｗｗｗ．ｍｒｕｎｉｘ．ｎｅｔ／ｗｅｂａｌｉｚｅｒ／　ｈｔｔｐ：／／ｗｗｗ．ｃｒｏｎｏｌｏｇ．ｏｒｇ／　ｈｔｔｐ：／／ｗｗｗ．ａｐａｃｈｅ．ｏｒｇ／

　　　　一、　前言

　　　　随着　Ｉｎｔｅｒｎｅｔ　上　Ｗｅｂ　服务的发展，几乎各个政府部门、公司、大专院校、科研院所等都在构建或正在　建设自己的网站。而与此同时，在构建网站建设中各个单位都会遇到各种各样的问题，那么对　ｗｅｂ　服　务器的运行和访问情况进行详细和周全的分析对于了解网站运行情况，发现网站存在的不足，促进网　站的更好发展重要性是不言而喻的。　管理　Ｗｅｂ　网站不只是监视　Ｗｅｂ　的速度和　Ｗｅｂ　的内容传送，它要求不仅仅关注服务器每天的吞吐量，　还要了解对这些　Ｗｅｂ　网站的外来访问，了解网站各页面的访问情况，根据各页面的点击频率来改善　网页的内容和质量、提高内容的可读性，跟踪包含有商业交易的步骤以及管理　Ｗｅｂ　网站“幕后”的　数据等。　为了更好地提供　ＷＷＷ　服务，监控　ＷＥＢ　服务器的运行情况、了解网站内容的详细访问状况就越来越　显得重要和迫切了。而这些要求都可以通过对　ｗｅｂ　服务器的日志文件的统计和分析来做到。

　　　　二、ＷＥＢ　日志分析的原理

　　　　网站服务器日志记录了　ｗｅｂ　服务器接收处理请求以及运行时错误等各种原始信息。　通过对日志进行统　计、分析、综合，就能有效地掌握服务器的运行状况，发现和排除错误原因、了解客户访问分布等，

　　　　更好的加强系统的维护和管理。　在　ＷＷＷ　服务模型是非常简单的（见图　１）：　１）　客户端（浏览器）和　ｗｅｂ　服务器建立　ｔｃｐ　连接，　连接建立以后，　ｗｅｂ　服务器发出访问请求　向　（如：　，　ｇｅｔ）　根据　ＨＴＴＰ　协议该请求中包含了客户端的　ＩＰ　地址、浏览器的类型、请求的　ＵＲＬ　等一系列信息。

　　　　图　１　ｗｅｂ　访问机制　２）　ｗｅｂ　服务器收到请求后，将客户端要求的页面内容返回到客户端。如果出现错误，那么返回错误代　码。　３）　服务器端将访问信息和错误信息纪录到日志文件里。下面是客户端发送给　ｗｅｂ　服务器请求的数据　报的内容：　ＧＥＴ　／ｅｎｇｉｎｅｅｒ／ｉｄｅａｌ／ｌｉｓｔ．ｈｔｍ　ＨＴＴＰ／１．１　Ａｃｃｅｐｔ：　ｉｍａｇｅ／ｇｉｆ，　ｉｍａｇｅ／ｘ－ｘｂｉｔｍａｐ，　ｉｍａｇｅ／ｊｐｅｇ，　ｉｍａｇｅ／ｐｊｐｅｇ，　ａｐｐｌｉｃａｔｉｏｎ／ｖｎｄ．ｍｓ－ｐｏｗｅｒｐｏｉｎｔ，　ａｐｐｌｉｃａｔｉｏｎ／ｖｎｄ．ｍｓ－ｅｘｃｅｌ，　ａｐｐｌｉｃａｔｉｏｎ／ｍｓｗｏｒｄ，　＊／＊　Ｒｅｆｅｒｅｒ：　ｈｔｔｐ：／／ｗｗｗ．ｌｉｎｕｘａｉｄ．ｃｏｍ．ｃｎ／ｅｎｇｉｎｅｅｒ／ｉｄｅａｌ／　Ａｃｃｅｐｔ－Ｌａｎｇｕａｇｅ：　ｚｈ－ｃｎ　Ａｃｃｅｐｔ－Ｅｎｃｏｄｉｎｇ：　ｇｚｉｐ，　ｄｅｆｌａｔｅ　Ｕｓｅｒ－Ａｇｅｎｔ：　Ｍｏｚｉｌｌａ／４．０　（ｃｏｍｐａｔｉｂｌｅ；　ＭＳＩＥ　６．０；　Ｗｉｎｄｏｗｓ　ＮＴ　５．０）　Ｈｏｓｔ：　ｗｗｗ．ｌｉｎｕｘａｉｄ．ｃｏｍ．ｃｎ　Ｃｏｎｎｅｃｔｉｏｎ：　Ｋｅｅｐ－Ａｌｉｖｅ　可以看到，在客户机的请求里包含了很多有用的信息，例如：客户端类型等等。而　ｗｅｂ　服务器就会将　请求的　ｗｅｂ　页内容发送返回给客户机。　目前最常用的　ｗｅｂ　服务器有　Ａｐａｃｈｅ、Ｎｅｔｓｃａｐｅ　ｅｎｔｅｒｐｒｉｓｅ　ｓｅｒｖｅｒ、ＭＳ　ＩＩＳ　等。而目前互联网上最常用的　ｗｅｂ　服务器就是　ａｐａｃｈｅ，因此我们这里的讨论都以　Ｌｉｎｕｘ＋ａｐａｃｈｅ　环境讨论，其他的应用环境类似。　对于　Ａｐａｃｈｅ　来说，　支持多种日志文件格式，　最常见的是　ｃｏｍｍｏｎ　和　ｃｏｍｂｉｎｅｄ　两种模式，　其中　ｃｏｍｂｉｎｅｄ　方式比　ｃｏｍｍｏｎ