为NGINX配置AWStats日志分析

虽然AWStats现在已经支持输出静态网页形式的分析结果，但是页面布局没有用Perl生成的动态网页方便，而且用自带的用Perl编写的转换工具稍微有点慢，在流量不大的情况下，还是在Perl+Fast CGI上运行更舒服一些。

首先要参考之前的文章，建立好PERL+FCGI的运行环境，这步准备工作就够费劲的。

然后开始切入正题：

1. 下载最新版的AWStats，基本就是Perl包，所以没必要用apt-get，解压缩到/usr/local/awstats下

wget http://prdownloads.sourceforge.net/awstats/awstats-6.95.tar.gz
tar -xzf awstats-6.95.tar.gz
mv awstats-6.95 /usr/local/awstats

2. 创建一个存放awstats分析数据的目录
mkdir /var/lib/awstats
chown www-data /var/lib/awstats  //这是为了让awstats页面上能直接刷新最新数据

3. 自动配置awstats

cd /usr/local/awstats/tools
perl awstats_configure.pl

除了第一步因为是Ngin服务器的关系，所以要选none，其他基本按照提示选默认值

4. 手工编辑配置文件

1) 修改LogFile路径

LogFile = “/var/log/nginx/access.log”

如果是压缩格式的日志，可以用LogFile = “zcat /var/log/nginx/%YYYY-24%MM-24%DD-24.gz|"。这里用zcat是因为其使用管道输出，对系统资源消耗比较小，千万不要忘了最后的管道操作符！


假设原来/etc/nginx/nginx.conf中关于log部分是如此定义的：（要小心各个变量之间必须添加的空格，不能少，否则awstats就不认了）

log_format  main  ‘$remote_addr $remote_user [$time_local] “$request” $status ‘
‘$host $body_bytes_sent $gzip_ratio “$http_referer” ‘
‘”$http_user_agent” “$http_x_forwarded_for”‘;

很容易知道，对应awstats配置文件中，LogFormat应该设置为
LogFormat= “%host %logname %time1 %methodurl %code %host_r %bytesd  %gzipratio %refererquot %uaquot %otherquot”

最后一个选％otherquot是应为$http_x_forwarded_for在AWstats 6.95中还不认识

3) 将AllowToUpdateStatsFromBrowser=1，便于浏览器中即时刷新数据

5. 更新Awstats的分析记录，测试一下刚才的配置
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=yousite.com

如果一切正常，应该看到类似以下的结果：
Create/Update database for config “/etc/awstats/awstats.yoursite.com.conf” by AWStats version 6.95 (build 1.943)
From data in log file “/var/log/nginx/access.log”…
Phase 1 : First bypass old records, searching new record…
Searching new records from beginning of log file…
Phase 2 : Now process new records (Flush history on disk after 20000 hosts)…
Jumped lines in file: 0
Parsed lines in file: 1234
Found 0 dropped records,
Found 0 corrupted records,
Found 0 old records,
Found 1234 new qualified records.

6. 修改logrotate.d下的nginx配置文件，在每天切割日志前，更新awstats状态

/var/log/nginx/*.log {
daily
missingok
rotate 7
compress
delaycompress
notifempty
create 640 www-data www-data
dateext
sharedscripts
prerotate
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=yoursite.com
sleep 59
endscript
postrotate
if [ -f /var/run/nginx.pid ]; then
kill -USR1 `cat /var/run/nginx.pid`
fi
endscript
}

7. 接下来是最关键的NGINX配置，

#AWStatus Perl CGI  server
server {
listen       80;
server_name  awstats.yoursite.com;
access_log   /var/log/nginx/awstats.log main;

error_log    /var/log/nginx/awstats_error.log; #这可以为fail2ban留下记录
root /usr/local/awstats/wwwroot;
auth_basic            “Restricted”;
auth_basic_user_file  /etc/nginx/awstatus.pass;

location = / {
rewrite ^ /awstats.pl?config=freshventure.info;
}

location ~ .*(\.cgi|\.pl?)$ {
gzip off; #gzip makes scripts feel slower since they have to complete before getting gzipped
root /usr/local/awstats/wwwroot/cgi-bin;
fastcgi_pass 127.0.0.1:8000;
fastcgi_index awstats.pl;
fastcgi_param SCRIPT_FILENAME  $document_root$fastcgi_script_name;
include        fastcgi_params;
}

}

好了，测试一下http://awstats.yoursite.com，和前文一样，输入密码后，这次看到的应该就awstats的界面了

8. 如果需要配置静态页面，则可以在logrotate中替换掉上面的awstats.pl, 换成

/usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=yoursite.com -lang=cn -dir=/usr/local/awstats/wwwroot -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl。

如果需要更频繁的更新访问情况，则可以把这句命令加入到crontab中，例如crontab -e -uwww-data。

然后nginx相应调整为显示静态网页就可以了

参考文章：

1. 刘辉 － awstats 配置模板 参考

2. 刘辉 － AWStats：示来访者位置 QQ纯真库IP解析插件安装

3. Jeff’s Blog – Awstats安装和设置

4. Jeff’s Blog – NGINX下运行Awstats

5. Jeff’s Blog – IP地址数据库的自动更新

6. 使用 awstats 分析 Nginx 的访问日志

今后拓展阅读

1. 车东 － AWStats的千万级日志解决方案

wget http://prdownloads.sourceforge.net/awstats/awstats-6.9.tar.gz
tar -xvzf awstats-6.9.tar.gz
mv awstats-6.9 /usr/local/awstats

Ubuntu服务器上相关日志的进一步调整

1. VSFTPD

vi /etc/vsftpd.conf

xferlog_file=/var/log/vsftpd/vsftpd.log #调整一下目录存放位置，让/var/log下稍微清晰一些

vi /etc/logrotate.d/vsftpd
修改日志存放目录
/var/log/vsftpd/vsftpd.log

logrotate -d /etc/logrotate.d/vsftpd 测试一下

没问题的话，重启ftp服务

/etc/init.d/vsftpd restart

2. fail2ban

vi /etc/fail2ban/fail2ban.conf

logtarget = /var/log/fail2ban.log

vi /etc/logrotate.d/fail2ban
修改日志存放目录
/var/log/fail2ban/fail2ban.log

logrotate -d /etc/logrotate.d/fail2ban 测试一下

vi /etc/fail2ban/jail.local
logpath = var/log/vsftpd/vsftpd.log

/etc/init.d/fail2ban restart

3. NGINX

编辑 /etc/logrotate.d/nginx

/var/log/nginx/*.log {
daily
missingok
rotate 7
compress
delaycompress
notifempty
create 640 www-data www-data
dateext
sharedscripts
prerotate
sleep 59
endscript
postrotate
if [ -f /var/run/nginx.pid ]; then
kill -USR1 `cat /var/run/nginx.pid`
fi
endscript
}

含义是：

每天执行，日志文件不存在不报错，最多保留365天，用GZip压缩, 延后压缩，无文件不压缩， 文件后加时间戳。

logrotate -d /etc/logrotate.d/nginx 测试一下

没问题的话，重启服务: /etc/init.d/nginx reload

4. 可选：调整logrotate的运行时间

编辑/etc/cron.daily, 把其中的logrotate的时间提前到5：27或更早一点，以便CPU时间可以合理分配

参考文章：
1. Nginx日志切割脚本
2. nginx 使用 logrotate 回滚日志
3. nginx日志管理

/var/log/nginx/*.log {
daily
missingok
rotate 7
compress
delaycompress
notifempty
create 640 www-data adm
sharedscripts
prerotate
sleep 59
endscript
postrotate
if [ -f /var/run/nginx.pid ]; then
kill -USR1 `cat /var/run/nginx.pid`
fi
endscript
}