Home | 簡體中文 | 繁體中文 | 雜文 | Search | ITEYE 博客 | OSChina 博客 | Facebook | Linkedin | 作品與服務 | Email

日誌歸檔與數據挖掘

http://netkiller.github.io/journal/log.html

Mr. Neo Chen (陳景峯), netkiller, BG7NYT


中國廣東省深圳市龍華新區民治街道溪山美地
518131
+86 13113668890


版權聲明

轉載請與作者聯繫,轉載時請務必標明文章原始出處和作者信息及本聲明。

文檔出處:
http://netkiller.github.io
http://netkiller.sourceforge.net

微信掃瞄二維碼進入 Netkiller 微信訂閲號

QQ群:128659835 請註明“讀者”

2016-03-29

摘要

2013-03-19 第一版

2014-12-16 第二版


目錄

1. 什麼日誌歸檔

歸檔,是指將日誌整理完畢且有保存價值的檔案,經系統整理交日誌伺服器保存的過程。

2. 為什麼要做日誌歸檔

  • 隨時調出歷史日誌查詢。
  • 通過日誌做數據挖掘,挖掘有價值的數據。
  • 查看應用程序的工作狀態

3. 何時做日誌歸檔

日誌歸檔應該是企業規定的一項制度(“歸檔制度”),系統建設之初就應該考慮到日誌歸檔問題。如果你的企業沒有這項工作或制度,在看完本文後建議你立即實施。

4. 歸檔日誌放在哪裡

簡單的可以採用單節點伺服器加備份方案。

隨着日誌規模擴大,未來必須採用分散式檔案系統,甚至涉及到遠程異地容災。

5. 誰去做日誌歸檔

我的答案是日誌歸檔自動化,人工檢查或抽檢。

6. 怎樣做日誌歸檔

將所有伺服器的日誌都彙總到一處,有幾種方法

日誌歸檔常用方法:
  • ftp 定是下載, 這種做法適合小檔案且日誌量不大,定是下載到指定伺服器,缺點是重複傳輸,實時性差。
  • rsyslog 一類的程序,比較通用,但擴展不便。
  • rsync 定是同步,適合打檔案同步,好於FTP,實時性差。

6.1. 日誌格式轉換

首先我來介紹一種簡單的方案

我用D語言寫了一個程序將 WEB 日誌正則分解然後通過管道傳遞給資料庫處理程序

6.1.1. 將日誌放入資料庫

將WEB伺服器日誌通過管道處理然後寫入資料庫

處理程序源碼

				
$ vim match.d
import std.regex;
import std.stdio;
import std.string;
import std.array;

void main()
{
    // nginx
	//auto r = regex(`^(\S+) (\S+) (\S+) \[(.+)\] "([^"]+)" ([0-9]{3}) ([0-9]+) "([^"]+)" "([^"]+)" "([^"]+)"`);

	// apache2
	auto r = regex(`^(\S+) (\S+) (\S+) \[(.+)\] "([^"]+)" ([0-9]{3}) ([0-9]+) "([^"]+)" "([^"]+)"`);

	foreach(line; stdin.byLine)
	{

		foreach(m; match(line, r)){
			//writeln(m.hit);
			auto c = m.captures;
			c.popFront();
			//writeln(c);
			auto value = join(c, "\",\"");
			auto sql = format("insert into log(remote_addr,unknow,remote_user,time_local,request,status,body_bytes_sent,http_referer,http_user_agent,http_x_forwarded_for) value(\"%s\");", value );
			writeln(sql);
		}
	}
}
				
				

編譯

$ dmd match.d
$ strip match

$ ls
match  match.d  match.o
				

簡單用法

$ cat access.log | ./match
				

高級用法

				
$ cat access.log | match | mysql -hlocalhost -ulog -p123456 logging
				
				

實時處理日誌,首先創建一個管道,尋該日誌檔案寫入管道中。

cat  管道名 | match | mysql -hlocalhost -ulog -p123456 logging
				

這樣就可以實現實時日誌插入。

提示

上面程序稍加修改即可實現Hbase, Hypertable 本版

6.1.2. Apache Pipe

Apache 日誌管道過濾 CustomLog "| /srv/match >> /tmp/access.log" combined

				
<VirtualHost *:80>
        ServerAdmin webmaster@localhost

        #DocumentRoot /var/www
        DocumentRoot /www
        <Directory />
                Options FollowSymLinks
                AllowOverride None
        </Directory>
        #<Directory /var/www/>
        <Directory /www/>
                Options Indexes FollowSymLinks MultiViews
                AllowOverride None
                Order allow,deny
                allow from all
        </Directory>

        ScriptAlias /cgi-bin/ /usr/lib/cgi-bin/
        <Directory "/usr/lib/cgi-bin">
                AllowOverride None
                Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch
                Order allow,deny
                Allow from all
        </Directory>

        ErrorLog ${APACHE_LOG_DIR}/error.log

        # Possible values include: debug, info, notice, warn, error, crit,
        # alert, emerg.
        LogLevel warn

        #CustomLog ${APACHE_LOG_DIR}/access.log combined
        CustomLog "| /srv/match >> /tmp/access.log" combined

    Alias /doc/ "/usr/share/doc/"
    <Directory "/usr/share/doc/">
        Options Indexes MultiViews FollowSymLinks
        AllowOverride None
        Order deny,allow
        Deny from all
        Allow from 127.0.0.0/255.0.0.0 ::1/128
    </Directory>

</VirtualHost>
				
				

經過管道轉換過的日誌效果

				
$ tail /tmp/access.log
insert into log(remote_addr,unknow,remote_user,time_local,request,status,body_bytes_sent,http_referer,http_user_agent,http_x_forwarded_for) value("192.168.6.30","-","-","21/Mar/2013:16:11:00 +0800","GET / HTTP/1.1","304","208","-","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 Safari/537.22");
insert into log(remote_addr,unknow,remote_user,time_local,request,status,body_bytes_sent,http_referer,http_user_agent,http_x_forwarded_for) value("192.168.6.30","-","-","21/Mar/2013:16:11:00 +0800","GET /favicon.ico HTTP/1.1","404","501","-","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 Safari/537.22");
insert into log(remote_addr,unknow,remote_user,time_local,request,status,body_bytes_sent,http_referer,http_user_agent,http_x_forwarded_for) value("192.168.6.30","-","-","21/Mar/2013:16:11:00 +0800","GET / HTTP/1.1","304","208","-","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 Safari/537.22");
				
				

6.1.3. Log format

通過定義LogFormat可以直接輸出SQL形式的日誌

Apache

LogFormat "%v:%p %h %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" vhost_combined
LogFormat "%h %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %O" common
LogFormat "%{Referer}i -> %U" referer
LogFormat "%{User-agent}i" agent
				

Nginx

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
				

但對於系統管理員使用grep,awk,sed,sort,uniq分析時造成一定的麻煩。所以我建議仍然採用正則分解

產生有規則日誌格式,Apache:

LogFormat \
        "\"%h\",%{%Y%m%d%H%M%S}t,%>s,\"%b\",\"%{Content-Type}o\",  \
        \"%U\",\"%{Referer}i\",\"%{User-Agent}i\""
				

將access.log檔案導入到mysql中

LOAD DATA INFILE '/local/access_log' INTO TABLE tbl_name
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '\\'
				

6.1.4. 日誌導入到 MongoDB

# rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
# yum install mongodb
				

D語言日誌處理程序

				
import std.regex;
//import std.range;
import std.stdio;
import std.string;
import std.array;

void main()
{
	// nginx
	auto r = regex(`^(\S+) (\S+) (\S+) \[(.+)\] "([^"]+)" ([0-9]{3}) ([0-9]+) "([^"]+)" "([^"]+)" "([^"]+)"`);
	// apache2
	//auto r = regex(`^(\S+) (\S+) (\S+) \[(.+)\] "([^"]+)" ([0-9]{3}) ([0-9]+) "([^"]+)" "([^"]+)"`);
	foreach(line; stdin.byLine)
	{
		//writeln(line);
		//auto m = match(line, r);
		foreach(m; match(line, r)){
			//writeln(m.hit);
			auto c = m.captures;
			c.popFront();
			//writeln(c);
			/*
			SQL
			auto value = join(c, "\",\"");
			auto sql = format("insert into log(remote_addr,unknow,remote_user,time_local,request,status,body_bytes_sent,http_referer,http_user_agent,http_x_forwarded_for) value(\"%s\");", value );
			writeln(sql);
			*/
			// MongoDB
			string bson = format("db.logging.access.save({
						'remote_addr': '%s',
						'remote_user': '%s',
						'time_local': '%s',
						'request': '%s',
						'status': '%s',
						'body_bytes_sent':'%s',
						'http_referer': '%s',
						'http_user_agent': '%s',
						'http_x_forwarded_for': '%s'
						})",
						c[0],c[2],c[3],c[4],c[5],c[6],c[7],c[8],c[9]
						);
			writeln(bson);

		}
	}

}
				
				

編譯日誌處理程序

dmd mlog.d
				

用法

cat /var/log/nginx/access.log | mlog | mongo 192.169.0.5/logging -uxxx -pxxx
				

處理壓錯過的日誌

# zcat /var/log/nginx/*.access.log-*.gz | /srv/mlog | mongo 192.168.6.1/logging -uneo -pchen
				

實時採集日誌

tail -f /var/log/nginx/access.log | mlog | mongo 192.169.0.5/logging -uxxx -pxxx
				

6.2. 日誌中心方案

上面的方案雖然簡單,但太依賴系統管理員,需要配置很多伺服器,每種應用軟件產生的日誌都不同,所以很複雜。如果中途出現故障,將會丟失一部日誌。

於是我又回到了起點,所有日誌存放在自己的伺服器上,定時將他們同步到日誌伺服器,這樣解決了日誌歸檔。遠程收集日誌,通過UDP協議推送彙總到日誌中心,這樣解決了日誌實時監控、抓取等等對實時性要求較高的需求。

為此我用了兩三天寫了一個軟件,下載地址:https://github.com/netkiller/logging

這種方案並不是最佳的,只是比較適合我的場景,而且我僅用了兩三天就完成了軟件的開發。後面我會進一步擴展,增加消息隊列傳送日誌的功能。

6.2.1. 軟件安裝

$ git clone https://github.com/netkiller/logging.git
$ cd logging
$ python3 setup.py sdist
$ python3 setup.py install
				

6.2.2. 節點推送端

安裝啟動腳本

CentOS

# cp logging/init.d/ulog /etc/init.d			
				

Ubuntu

$ sudo cp init.d/ulog /etc/init.d/	

$ service ulog 
Usage: /etc/init.d/ulog {start|stop|status|restart}			
				

配置腳本,打開 /etc/init.d/ulog 檔案

配置日誌中心的IP地址

HOST=xxx.xxx.xxx.xxx
				

然後配置連接埠與採集那些日誌

				
	done << EOF
1213 /var/log/nginx/access.log
1214 /tmp/test.log
1215 /tmp/$(date +"%Y-%m-%d.%H:%M:%S").log
EOF
				
				

格式為

Port | Logfile
------------------------------
1213 /var/log/nginx/access.log
1214 /tmp/test.log
1215 /tmp/$(date +"%Y-%m-%d.%H:%M:%S").log
				

1213 目的連接埠號(日誌中心連接埠)後面是你需要監控的日誌,如果日誌每日產生一個檔案寫法類似 /tmp/$(date +"%Y-%m-%d.%H:%M:%S").log

提示

每日產生一個新日誌檔案需要定時重啟 ulog 方法是 /etc/init.d/ulog restart

配置完成後啟動推送程序

# service ulog start
				

查看狀態

$ service ulog status
13865 pts/16   S      0:00 /usr/bin/python3 /usr/local/bin/rlog -d -H 127.0.0.1 -p 1213 /var/log/nginx/access.log				
				

停止推送

# service ulog stop				
				

6.2.3. 日誌收集端

# cp logging/init.d/ucollection /etc/init.d

# /etc/init.d/ucollection 
Usage: /etc/init.d/ucollection {start|stop|status|restart}
				

配置接收連接埠與保存檔案,打開 /etc/init.d/ucollection 檔案,看到下面段落

				
done << EOF
1213 /tmp/nginx/access.log
1214 /tmp/test/test.log
1215 /tmp/app/$(date +"%Y-%m-%d.%H:%M:%S").log
1216 /tmp/db/$(date +"%Y-%m-%d")/mysql.log
1217 /tmp/cache/$(date +"%Y")/$(date +"%m")/$(date +"%d")/cache.log
EOF
				
				

格式如下,表示接收來自1213連接埠的數據,並保存到/tmp/nginx/access.log檔案中。

Port | Logfile
1213 /tmp/nginx/access.log
				

如果需要分割日誌配置如下

1217 /tmp/cache/$(date +"%Y")/$(date +"%m")/$(date +"%d")/cache.log
				

上面配置日誌檔案將會產生在下面的目錄中

$ find /tmp/cache/
/tmp/cache/
/tmp/cache/2014
/tmp/cache/2014/12
/tmp/cache/2014/12/16
/tmp/cache/2014/12/16/cache.log
				

提示

同樣,如果分割日誌需要重啟收集端程序。

啟動收集端

# service ulog start	
				

停止程序

# service ulog stop			
				

查看狀態

$ init.d/ucollection status
12429 pts/16   S      0:00 /usr/bin/python3 /usr/local/bin/collection -d -p 1213 -l /tmp/nginx/access.log
12432 pts/16   S      0:00 /usr/bin/python3 /usr/local/bin/collection -d -p 1214 -l /tmp/test/test.log
12435 pts/16   S      0:00 /usr/bin/python3 /usr/local/bin/collection -d -p 1215 -l /tmp/app/2014-12-16.09:55:15.log
12438 pts/16   S      0:00 /usr/bin/python3 /usr/local/bin/collection -d -p 1216 -l /tmp/db/2014-12-16/mysql.log
12441 pts/16   S      0:00 /usr/bin/python3 /usr/local/bin/collection -d -p 1217 -l /tmp/cache/2014/12/16/cache.log
				

6.2.4. 日誌監控

監控來自1217寬口的數據

$ collection -p 1213

192.168.6.20 - - [16/Dec/2014:15:06:23 +0800] "GET /journal/log.html HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36"
192.168.6.20 - - [16/Dec/2014:15:06:23 +0800] "GET /journal/docbook.css HTTP/1.1" 304 0 "http://192.168.6.2/journal/log.html" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36"
192.168.6.20 - - [16/Dec/2014:15:06:23 +0800] "GET /journal/journal.css HTTP/1.1" 304 0 "http://192.168.6.2/journal/log.html" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36"
192.168.6.20 - - [16/Dec/2014:15:06:23 +0800] "GET /images/by-nc-sa.png HTTP/1.1" 304 0 "http://192.168.6.2/journal/log.html" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36"
192.168.6.20 - - [16/Dec/2014:15:06:23 +0800] "GET /js/q.js HTTP/1.1" 304 0 "http://192.168.6.2/journal/log.html" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36"
				

啟動後實時將最新日誌傳送過來

comments powered by Disqus