标签：配置文件 json kafka host message logstash

第一步

vi config/logstash.conf

input {
        kafka {
                bootstrap_servers => "127.0.0.1:9092"
    			# 从kafka 中读取匹配到的topic
                topics => ["host-message","host-secure"]
				# kafka收集到的文件格式是json，因此这里选择json解析
                codec => "json"
        }
}

output {
	stdout {
		codec => rubydebug
	}
}

检查语法：logstash -f 配置文件 -t

启动服务：logstash -f 配置文件

第二步

input {
        kafka {
                bootstrap_servers => "127.0.0.1:9092"
                topics => ["host-message","host-secure"]
				# kafka收集到的文件格式是json，因此这里选择json解析
                codec => "json"
        }
}
output {
        elasticsearch {
    		# 把 topics => ["host-message","host-secure"] 传递给 elasticseach 中"host-message-%{+YYYY.MM.dd}"这个index。这样的情况下host-message和 host-secre都会混在一起不方便查看
            index => "host-message-%{+YYYY.MM.dd}"
            hosts => ["172.16.100.6:9200"]
        }
}

检查语法：logstash -f 配置文件 -t

启动服务：logstash -f 配置文件

第三步

input {
        kafka {
                bootstrap_servers => "127.0.0.1:9092"
                topics => ["host-message","host-secure"]
				# kafka收集到的文件格式是json，因此这里选择json解析
                codec => "json"
        }
}

output {
        if [fields][type] == "host-message" {
                elasticsearch {
                        index => "host-message-%{+YYYY.MM.dd}"
                        hosts => ["172.16.100.6:9200"]
                }
        }
        if [fields][type] == "host-secure" {
                elasticsearch {
                        index => "host-secure-%{+YYYY.MM.dd}"
                        hosts => ["172.16.100.6:9200"]
                }
        }

}

检查语法：logstash -f 配置文件 -t

启动服务：logstash -f 配置文件

标签：配置文件,json,kafka,host,message,logstash
来源： https://www.cnblogs.com/wangend/p/16365009.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。