标签：Flume flume 数据源 kafka 134 日志 数据 告警
功能分析
数据输入
使用flume客户端获取个系统的数据；
用户通过页面输入系统名称、负责人触发规则等信息
数据存储
使用flume采集数据并存放在kafka集群中
数据计算
使用storm编写程序对日志进行过滤，将满足过滤规则的信息，通过邮件短信告警并保存到数据库中
数据展示
管理页面可以查看触发规则的信息，系统负责人，联系方式，触发信息明细等。
整体架构设计
主要架构为应用+flume+kafka+storm+mysql+Java web。
数据流程如下：
- 应用程序使用log4j产生日志
- 部署flume客户端监控应用程序产生的日志信息，并发送到kafka集群中
- storm spout拉去kafka的数据进行消费，逐条过滤每条日志的进行规则判断，对符合规则的日志进行邮件告警。
- 最后将告警的信息保存到mysql数据库中，用来进行管理。
1.Flume设计
-
Flume说明
Flume是一个分布式、可靠地、可用的服务，用来收集、聚合、传输日志数据。它是一个基于流式数据的架构，简单而灵活。具有健壮性、容错机制、故障转移、恢复机制。它提供一个简单的可扩展的数据模型，容许在线分析程序。Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。 -
Flume 设计摘要
使用 Flume EXEC执行一个linux命令来生成数据源。例如，可以用tail命令监控一个文件，那么，只要文件增加内容，EXEC就可以将增加的内容作为数据源发送出去。
使用 org.apache.flume.plugins.KafkaSink，将Flume EXEC产生的数据源发送到Kafka中。
2.Kafka设计
-
Kafka说明
kafka是一个分布式消息队列：生产者、消费者的功能。 -
Kakfa设计摘要
部署kafka集群，在集群中添加一个Topic：monitor_realtime_javaxy
3.Storm设计
- KafkaSpout读取数据，需要配置Topic：monitor_realtime_javaxy
- FilterBolt判断规则
- NotifyBolt用来发送邮件或短信息
- Save2DB用来将告警信息写入mysql数据库
标签：Flume,flume,数据源,kafka,134,日志,数据,告警 来源： https://blog.csdn.net/qq_20042935/article/details/99415621
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。