简介
通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候，也就是出现问题的时候，，这个渐进的过程就开始了。日志管理一般会经历一下3个阶段：
LogStash的优势：对日志数据更好的语法分析功能；
更加灵活的日志存储方式
附带搜索和目录功能
易于安装、可扩展、性能良好等
设计及架构LogStash由JRuby语言编写，基于消息（message-based）的简单架构，并运行在Java虚拟机（JVM）上。不同于分离的代理端（agent）或主机端（server），LogStash可配置单一的代理端（agent）与其它开源软件结合，以实现不同的功能。在LogStash的生态系统中，主要分为四大组件：Shipper：发送事件（events）至LogStash；通常，远程代理端（agent）只需要运行这个组件即可；
Broker and Indexer：接收并索引化事件；
Search and Storage：允许对事件进行搜索和存储；
Web Interface：基于Web的展示界面
正是由于以上组件在LogStash架构中可独立部署，才提供了更好的集群扩展性。
在大多数情况下，LogStash主机可分为两大类：
代理主机（agent host）：作为事件的传递者（shipper），将各种日志数据发送至中心主机；只需运行Logstash 代理（agent）程序；
中心主机（central host）：可运行包括中间转发器（Broker）、索引器（Indexer）、搜索和存储器（Search and Storage）、Web界面端（Web Interface）在内的各个组件，以实现对日志数据的接收、处理和存储。
部署基础环境yum install java-1.7.0-openjdkjava -version # 保证java版本为1.7 部署LogStash# 下载wget https://download.elasticsearch.org/logstash/logstash/logstash-1.3.1-flatjar.jar -O logstash.jar # 启动java -jar logstash.jar agent -v -f shipper.conf # 启动shipperjava -jar logstash.jar agent -v -f indexer.conf # 启动indexer 部署Redis# 安装yum install redis-server# 启动/etc/init.d/redis-server start# 测试$ redis-cli -h 192.168.12.24redis 192.168.12.24:6379> PINGPONG 部署Elasticsearch# 下载wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.8.noarch.rpm# 安装rpm -ivh elasticsearch-0.90.8.noarch.rpm # 启动/etc/init.d/elasticsearch status 启动Kibana# 安装java -jar logstash.jar web # LogStash 1.3.1自带Kibana# 查看:9292
Logstash配置文件与插件input {stdin { }file { type => “syslog” path => [“/var/log/secure”, “/var/log/messages”] exclude => [“*.gz”, “shipper.log”]} zeromq { address => [“tcp://192.168.8.145:8889”] mode => “client” type => “zmq-input” topic => “weblog” topology => “pubsub” codec => “json” } } filter {mutate { gsub => [ “message”,”APPS weblog”,””] gsub => [ “message”,”{“,””] gsub => [ “message”,”}”,””]} } output {stdout { debug => true debug_format => “json”} elasticsearch { cluster => “logstash” codec => “json” }}
日志类别与处理方法Apache日志：自定义apache输出日志格式，json输出，无需filter参与
Postfix日志：无法自定义，需使用如grok等filter进行过滤
Tomcat日志：需将多行日志合并至一个事件中，并排除空白行
集群扩展扩展架构
注意事项Redis：部署多台，仅提供高可用作用，无分担负载作用，可使用ZeroMQ代替ElasticSearch：# 检测节点状态：curl -XGET ‘http://127.0.0.1:9200/_cluster/health?pretty=true’ green status：所有shard被分配，且运行正常 yellow status：只有主shard被分配，如集群正在节点间复制数据时 red status：存在未被分配的shard# 集群监控：Paramedic工具： 安装：/usr/share/elasticsearch/bin/plugin -install karmi/elasticsearch-paramedic 查看：:9200/_plugin/paramedic/index.htmlBigdesk工具： 安装：/usr/share/elasticsearch/bin/plugin -install lukas-vlcek/bigdesk 查看：:9200/_plugin/bigdesk/index.html # 数据保留策略： 1.LogStash默认为每一天创建1个index，可手动删除index curl -XDELETE :9200/logstash-2013.12.19 shell优化脚本：https://github.com/cnf/logstash-tools/blob/master/elasticsearch/clean-elasticsearch.sh 2.优化index： curl -XPOST ‘http://127.0.0.1:9200/logstash-2013.12.19/_optimize’ curl -XPOST ‘http://127.0.0.1:9200/_optimize’ # 优化所有index curl ‘http://127.0.0.1:9200/logstash-2013.12.19/_stats?clear=true&store=true&pretty=true’ #查看index的大小，index过多会影响优化耗时 3.默认index数据目录：/var/lib/elasticsearch/logstash
参考资料LogStash官网：Elasticsearch官网：Kibana查询语法：
我爱你….为了你的幸福，我愿意放弃一切—包括你。
