大数据项目之Flink实时数仓(DWS层)

设计思路
首先明确DWS层的定位： 轻度聚合，DWS层要应对很多实时查询，大而全的明细查询的压力将会很大 将更多的实时数据以主题的方式组合起来方便管理，同时也减少了维度查询的次数 其实设计一张DWS层的表就两件事：维度和度量（事实数据） 维度包括分析中的一些重要字段：渠道，地区，版本，新老用户进行聚合
访问主题宽表计算
需求分析和思路 接受各个明细数据，转为数据流 把数据流合并在一起，成为相同格式对象的数据流 合并的数据流进行聚合(聚合的时间窗口决定了数据的时效性) 将聚合数据写入数据库中 功能实现 封装VisitorStatsApp，读取Kafka各个数据流
//TODO 1.获取执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

大数据项目之Flink实时数仓(DWS层)最先出现在Python成神之路。