ELK7.4-坐标地图映射Nginx用户地理位置

2019-10-21 11:56:16 阅读：331 来源： 互联网

标签：http ELK7.4 映射 geoip NUMBER kibana Nginx NOTSPACE logstash

小生博客：http://xsboke.blog.51cto.com

                -------谢谢您的参考，如有疑问，欢迎交流

需求
环境
logstash配置
kibana配置

需求

使用Geoip解析nginx用户IP地理位置,然后通过kibana的"coordinates map"实现映射用户地理位置可视化

环境

这里主要展示logstash filter plugin和kibana的配置,之前的配置请参考:ELK7.4-快速入门实现数据收集

web             172.16.100.251      nignx/filebeat/logstash 
elasticsearch   172.16.100.252      elasticsearch/kibana

`Web`配置

添加pipelines配置

vim /etc/logstash/conf.d/nginx.conf

input {
   beats {
       port => 5044
   }
}

filter {
   if "nginx_access" in [tags] {
       grok {
           match => { "message" => "%{NUMBER:request_time}\|%{IPORHOST:access_domain}\|%{IPORHOST:remote_addr}\|%{USERNAME:remote_user}\|\[%{HTTPDATE:time_local}\]\|%{NOTSPACE:request_method} %{NOTSPACE:request} (?:HTTP/%{NUMBER:http_version})\|%{NUMBER:status}\|%{NUMBER:upstream_status}\|%{NUMBER:upstream_response_time}\|%{NOTSPACE:upstream_addr}\|%{NUMBER:body_bytes_sent}\|%{NOTSPACE:request_body}\|%{NOTSPACE:http_referer}\|%{GREEDYDATA:http_user_agent}\|%{NOTSPACE:http_x_forwarded_path}\|%{NOTSPACE:upstream_cache_status}" }
       }

       geoip {
           source => "remote_addr"
           target => "geoip" # 要发送的字段,默认为此
           add_field => ["[geoip][coordinates]","%{[geoip][longitude]}"] # 获取经度
           add_field => ["[geoip][coordinates]","%{[geoip][latitude]}"] # 获取纬度
       }

       mutate {
           convert => ["[geoip][coordinates]","float"] # 修改经纬度为浮点数
       }
   }
}

output {
   if "nginx_access" in [tags] {
       elasticsearch {
           hosts => ["elk.elasticsearch:80"]
           index => "logstash-nginx_access-%{+YYYY.MM.dd}" # 使用以logstash索引可以免除手动指定geoip为geo_point类型.
       }
   }
}

`elasticsearch`配置

kibana配置

默认情况下kibana使用"Elastic Maps Service"显示地图模块,要使用其他服务提供商的模块可以通过修改"map.tilemap.url"实现,下面是修改为高德地图
# map.tilemap.url: 'http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}'

7.4版本的kibana对中文兼容性更好,个人建议使用Kibana默认的"Elastic Maps Service"显示地图模块,可以修改kibana的语言从而显示中文:
# i18n.locale: "zh-CN"

kibana Web配置

新建可视化 -> 坐标地图 -> 选择logstash索引

根据下图进行配置然后保存即可

标签：http,ELK7.4,映射,geoip,NUMBER,kibana,Nginx,NOTSPACE,logstash
来源： https://blog.51cto.com/xsboke/2444094

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

ELK7.4-坐标地图映射Nginx用户地理位置

需求

环境

Web配置

elasticsearch配置

`Web`配置

`elasticsearch`配置