基于 Flink 和 Drools 的实时日志处理

背景
日志系统接入的日志种类多、格式复杂多样，主流的有以下几种日志：
filebeat采集到的文本日志，格式多样 winbeat采集到的操作系统日志 设备上报到logstash的syslog日志 接入到kafka的业务日志
以上通过各种渠道接入的日志，存在2个主要的问题：
格式不统一、不规范、标准化不够 如何从各类日志中提取出用户关心的指标，挖掘更多的业务价值
为了解决上面2个问题，我们基于flink和drools规则引擎做了实时的日志处理服务。
系统架构
架构比较简单，架构图如下：

各类日志都是通过kafka汇总，做日志中转。
flink消费kafka的数据，同时通过API调用拉取drools规则引擎，对日志做解析处理后，将解析后的数据存储到Elasticsearch中，用于日志的搜索和分析等业务。
为了监控日志解析的实时状态，大数据培训flink会将日志处理的统计数据，如每分钟处理的日志量，每种日志从各个机器IP来的日志量写到Redis中，用于监控统计。
模块介绍
系统项目命名为eagle。
ea

基于 Flink 和 Drools 的实时日志处理最先出现在Python成神之路。