Home | 簡體中文 | 繁體中文 | 雜文 | 知乎專欄 | Github | OSChina 博客 | 雲社區 | 雲棲社區 | Facebook | Linkedin | 視頻教程 | 打賞(Donations) | About
知乎專欄多維度架構 微信號 netkiller-ebook | QQ群:128659835 請註明“讀者”

第 3 章 ElasticSearch + Logstash + Kibana

目錄

3.1. 安裝
3.1.1. 6.x
3.1.2. ElasticSearch + Logstash + Kibana 安裝
3.1.2.1. ElasticSearch 安裝
3.1.2.2. Kibana 安裝
3.1.2.3. Logstash 安裝
3.1.2.4. 從 5.x 升級到 6.x
3.2. logstash 命令簡單應用
3.2.1. -e 命令行運行
3.2.2. -f 指定配置檔案
3.2.3. -t:測試配置檔案是否正確,然後退出。
3.2.4. -l:日誌輸出的地址
3.2.5. log.level 啟動Debug模式
3.3. 配置 Broker(Redis)
3.3.1. indexer
3.3.2. shipper
3.4. logstash 配置項
3.4.1. input
3.4.1.1. 標準輸入輸出
3.4.1.2. rubydebug
3.4.1.3. 本地檔案
3.4.1.3.1. 指定檔案類型
3.4.1.4. TCP/UDP
3.4.1.5. Redis
3.4.1.6. Kafka
3.4.1.7. jdbc
3.4.2. filter
3.4.2.1. 日期格式化
3.4.2.2. patterns
3.4.2.3. syslog
3.4.2.4. csv
3.4.2.5. 使用ruby 處理 CSV檔案
3.4.2.6. 執行 ruby 代碼
3.4.2.7. grok debug 工具
3.4.3. output
3.4.3.1. stdout
3.4.3.2. file 寫入檔案
3.4.3.3. elasticsearch
3.4.3.3.1. 自定義 index
3.4.3.4. exec 執行腳本
3.5. Example
3.5.1. Spring boot logback
3.5.2. 索引切割實例
3.5.3.
3.5.3.1.
3.6. Beats
3.6.1. 安裝 Beta
3.6.1.1. Beats 6.x 安裝
3.6.1.2. Beats 5.x 安裝
3.6.2. Filebeat
3.7. FAQ
3.7.1. 查看 Kibana 資料庫
3.7.2. logstash 無法寫入 elasticsearch
3.7.3. 標準輸出
3.7.4. 5.x 升級至 6.x 的變化

官方網站 https://www.elastic.co

環境準備:

操作系統: CentOS 7

Java 1.8

Redis

ElasticSearch + Logstash + Kibana 均使用 5.2 版本

以下安裝均使用 Netkiller OSCM 腳本一鍵安裝

3.1. 安裝

3.1.1. 6.x

			
curl -s https://raw.githubusercontent.com/oscm/shell/master/search/elastic/elastic-6.x.sh | bash
			
			

3.1.2. ElasticSearch + Logstash + Kibana 安裝

3.1.2.1. ElasticSearch 安裝

粘貼下面命令到Linux控制台即可一鍵安裝

				
curl -s https://raw.githubusercontent.com/oscm/shell/master/search/elasticsearch/elasticsearch-5.x.sh | bash
				
				

3.1.2.2. Kibana 安裝

				
curl -s https://raw.githubusercontent.com/oscm/shell/master/log/kibana/kibana-5.x.sh | bash
				
				

3.1.2.3. Logstash 安裝

					curl -s https://raw.githubusercontent.com/oscm/shell/master/log/kibana/logstash-5.x.sh | bash
				

3.1.2.4. 從 5.x 升級到 6.x

升級倉庫

				
curl -s https://raw.githubusercontent.com/oscm/shell/master/search/elastic/elastic-6.x.sh | bash		
				
				
				
yum update logstash