Nginx日志分析工具
Nginx日志分析工具是一款很专业的工作日志软件,软件可以很简单地分割字符串,可查看含有某些字符的项目。
Nginx日志分析工具安装教程

Nginx 日志分析工具是一款很专业的工作日志软件,软件可以很简单地分割字符串,可查看含有某些字符的项目,例如 baidu.,也可以用模式匹配语法 例如这样 404.*?baidu。
awstats 中,unique visitor 是根据 IP 来计算的,所以 awstats 中统计的 UV 值,即是 IP 值。
webtrends 中,也有对 UV 的统计,不过 webtrends 也是有 JS 统计代码的,所以,它的统计原理跟大部分统计代码都一样,通过 JS 获取客户端的 cookie 来计算 UV 值。
查看并询问了一些关于 Google Analytics 计算 UV 数的算法,Google Analytics 对于独立访客 (UV) 的计算,是基于访客浏览器中 cookie 来确定的,当访客第一次(或 cookie 丢失后)访问添加 GATC 的代码时,便会创建一个唯一的 cookie(即一个 UV),cookie 中 utma 变量记录了访客 ID、访问次数、访问时间等信息,UV 数以此累加。当访客丢失 cookie 或更换浏览器重新访问网站,都将会被认为新访客,而创建一个 cookie,记录为一个新的 UV。
apache 日志分析
以下内容也是一些关于 apache 日志分析的东东,记录下来。
1.什么是 UV?
UV 是 unique visitor 的简写,是指独立访客,是以实际访问的电脑计数。
2.什么是 IP?
IP 是国际互联网协议 (Internet Protocol) 的简称,是通过网络间信息地址定位具体计算机的方式之一。
3.UV 和 IP 的概念有什么区别?
对于 IP 来说,它在同一级别的网络 (例如某个局域网、社区网、教学楼网或者 INTERNET) 范围内是唯一的,同一局域网内的所有电脑都只有一个共同 ip。
举例来说,我在一个局域网里,对外的 IP 是 219.129.170.111,那么跟我同一局域网里的所有电脑都是这个 IP,也就是说假如整个局域网的电脑都访问您的网站的话,在 24 小时内也只计算一个 IP,所以相对 UV 来说不是很精确。
而 UV 跟 IP 稍有不同,UV 是访问你的网站的每一台电脑客户端。现在很多朋友用的网络都是局域网,引入了 UV 后,就能更精确的统计。
总结:
UV 的统计数比 IP 更为准确,能够准确的计数每一台访问电脑,而 IP 把同一局域内的所有电脑视为一个。
(PS:UV 计数会涉及 COOKIE。)
上次因工作的需求对一台 apache 的 log 做了一次整体的分析,所以顺便也对 apache 的日志分析做下简单的介绍,主要参考 apache 官网的 Log Files
一。日志分析
如果 apache 的安装时采用默认的配置,那么在/logs 目录下就会生成两个文件,分别是 access_log 和 error_log
1.access_log
access_log 为访问日志,记录所有对 apache 服务器进行请求的访问,它的位置和内容由 CustomLog 指令控制,LogFormat 指令可以用来简化该日志的内容和格式
例如,我的其中一台服务器配置如下
CustomLog “| /usr/sbin/rotatelogs /var/log/apache2/%Y_%m_%d_other_vhosts_access.log 86400 480″ vhost_combined
-rw-r–r– 1 root root 22310750 12-05 23:59 2010_12_05_other_vhosts_access.log
-rw-r–r– 1 root root 26873180 12-06 23:59 2010_12_06_other_vhosts_access.log
-rw-r–r– 1 root root 26810003 12-07 23:59 2010_12_07_other_vhosts_access.log
-rw-r–r– 1 root root 24530219 12-08 23:59 2010_12_08_other_vhosts_access.log
-rw-r–r– 1 root root 24536681 12-09 23:59 2010_12_09_other_vhosts_access.log
-rw-r–r– 1 root root 14003409 12-10 14:57 2010_12_10_other_vhosts_access.log
通过 CustomLog 指令,每天一天生成一个独立的日志文件,同时也写了定时器将一周前的日志文件全部清除,这样可以显得更清晰,既可以分离每一天的日志又可以清除一定时间以前的日志通过制,LogFormat 定义日志的记录格式
LogFormat “%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined
LogFormat “%{X-Forwarded-For}i %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combinedproxy
LogFormat “%h %l %u %t \”%r\” %>s %b” common
LogFormat “%{Referer}i -> %U” referer
LogFormat “%{User-agent}i” agent
随意的 tail 一个 access_log 文件,下面是一条经典的访问记录
218.19.140.242 – - [10/Dec/2010:09:31:17 +0800] “GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1″ 200 1933 “-” “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)”
一共是有 9 项,将他们一一拆开
218.19.140.242
-
-
[10/Dec/2010:09:31:17 +0800]
“GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1″
200
1933
“-”
“Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)”
1) 218.19.140.242 这是一个请求到 apache 服务器的客户端 ip,默认的情况下,第一项信息只是远程主机的 ip 地址,但我们如果需要 apache 查出主机的名字,可以将 HostnameLookups 设置为 on,但这种做法是不推荐使用,因为它大大的减缓了服务器。另外这里的 ip 地址不一定就是客户主机的 ip 地址,如果 客户端使用了代理服务器,那么这里的 ip 就是代理服务器的地址,而不是原机。
2) - 这一项是空白,使用”-”来代替,这个位置是用于标注访问者的标示,这个信息是由 identd 的客户端存在,除非 IdentityCheck 为 on,非则 apache 是不会去获取该部分的信息 (ps:不太理解,基本上这一项都是为空,奉上原文)
The “hyphen” in the output indicates that the requested piece of information is not available. In this case, the information that is not available is the RFC 1413 identity of the client determined by identd on the clients machine. This information is highly unreliable and should almost never be used except on tightly controlled internal networks. Apache httpd will not even attempt to determine this information unless IdentityCheck is set to On.
3) - 这一项又是为空白,不过这项是用户记录用户 HTTP 的身份验证,如果某些网站要求用户进行身份雁阵,那么这一项就是记录用户的身份信息
4) [10/Dec/2010:09:31:17 +0800] 第四项是记录请求的时间,格式为[day/month/year:hour:minute:second zone],最后的 +0800 表示服务器所处的时区为东八区
5) “GET /..haizhu_tianhe.xml HTTP/1.1″ 这一项整个记录中最有用的信息,首先,它告诉我们的服务器收到的是一个 GET 请求,其次,是客户端请求的资源路径,第三,客户端使用的协议时 HTTP/1.1,整个格式为”%m %U%q %H”,即”请求方法/访问路径/协议”
6) 200 这是一个状态码,由服务器端发送回客户端,它告诉我们客户端的请求是否成功,或者是重定向,或者是碰到了什么样的错误,这项值为 200,表示服务器已经成 功的响应了客户端的请求,一般来说,这项值以 2 开头的表示请求成功,以 3 开头的表示重定向,以 4 开头的标示客户端存在某些的错误,以 5 开头的标示服务器端 存在某些错误
7) 1933 这项表示服务器向客户端发送了多少的字节,在日志分析统计的时侯,把这些字节加起来就可以得知服务器在某点时间内总的发送数据量是多少
8) - 暂不知
9) “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)”这项主要记录客户端的浏览器信息
2.error_log
error_log 为错误日志,记录下任何错误的处理请求,它的位置和内容由 ErrorLog 指令控制,通常服务器出现什么错误,首先对它进行查阅,是一个最重要的日志文件
tail error_log,随意摘取一个记录
[Fri Dec 10 15:03:59 2010] [error] [client 218.19.140.242] File does not exist: /home/htmlfile/tradedata/favicon.ico
同样也是分为几个项
[Fri Dec 10 15:03:59 2010]
[error]
[client 218.19.140.242]
File does not exist: /home/htmlfile/tradedata/favicon.ico
1) [Fri Dec 10 15:03:59 2010] 记录错误发生的时间,注意,它跟我们上面 access_log 记录的时间格式是不同的
2) [error] 这一项为错误的级别,根据 LogLevel 指令来控制错误的类别,上面的 404 是属于 error 级别
3) [client 218.19.140.242] 记录客户端的 ip 地址
4) File does not exist: /home/htmlfile/tradedata/favicon.ico 这一项首先对错误进行了描述,例如客户端访问一个不存在或路径错误的文件,就会给出 404 的提示错误
二。实用的日志分析脚本
了解日志的各种定义后,这里分享一下从网上淘来的一些对日志分析的脚本
1.查看 apache 的进程数
ps -aux | grep httpd | wc -l
2.分析日志查看当天的 ip 连接数
cat default-access_log | grep “10/Dec/2010″ | awk ‘{print $2}’ | sort | uniq -c | sort -nr
3.查看指定的 ip 在当天究竟访问了什么 url
cat default-access_log | grep “10/Dec/2010″ | grep “218.19.140.242″ | awk ‘{print $7}’ | sort | uniq -c | sort -nr
4.查看当天访问排行前 10 的 url
cat default-access_log | grep “10/Dec/2010″ | awk ‘{print $7}’ | sort | uniq -c | sort -nr | head -n 10
5.看到指定的 ip 究竟干了什么
cat default-access_log | grep 218.19.140.242 | awk ‘{print $1″\t”$8}’ | sort | uniq -c | sort -nr | less
6.查看访问次数最多的几个分钟 (找到热点)
awk ‘{print $4}’ default-access_log |cut -c 14-18|sort|uniq -c|sort -nr|head
三。使用 awstats 自动分析日志
当然啦,如果想最简单和最直观的分析日志还是用工具,现在网上较流行的工具是 awstats,一个基于 perl 的 web 日志分析工具,功能很强大也支持 IIS 等服务器
