Flink 本人学习flink相关博客目录

感冒的梵高 • 2023-04-21 23:37 • 杂文

以下是本人Flink学习的相关内容,对于本人,目前来说flink分为两个阶段,第一个阶段主要是2020年12月份到2021年1月份吧,学习的主要载体是 ⟪基于Apache Flink的流处理⟫这本书,b站上的视频等...但是上班也用不上Flink一直从事的是离线开发的工作....SparkSQL BOY和OLAPSQL BOY....想体验一下FlinkSQL BOY...第二个阶段是目前这个阶段,我准备把Flink给捡起来,学习的主要载体是⟪Flink内核原理与实现⟫这本书,flink官网,别人博客的成果等...

第二个阶段🤑

⭐Flink入门

1. Flink概览:简单介绍了Flink的特点,框架架构,运行时架构

2. DataStream的一个案例和使用模板

3. Flink Source的使用和类型
Source类型例如有:从文件中读取,从集合中读取,Socket文本流,从Kafka中读取等

4. Flink Transformation的使用和类型,及富函数的简单使用说明
Transformation类型例如有:map,filter,flatmap,keyBy,max&maxBy,reduce

5. Flink 数据分区,Sink的使用和类型,及简单的介绍了时间和窗口的应用
数据分区包含:随机和轮询分区,广播,全局分区,及自定义重分区等
Sink类型例如有:写入文件系统,写入Kafka(重点),写入Ridis,写入ES,写入Mysql,写入自定义Sink等
时间语义包含:处理时间和事件时间,介绍了水位线的特性,生成策略,水位线的传递,及延迟数据的处理
简单介绍了窗口的分类:滚动窗口,滑动窗口,会话窗口(合并)等,及简单使用了窗口的功能(这一块是重点)

6. Flink 处理函数,定时器的简单应用,多流转换,状态编程,状态生存时间TTL,容错机制
process方法中open,onTimer的应用,定时器结合处理时间,事件时间的应用,windowall实现TOP_N等(触发器呢)
侧输出流,联合(union),连接(connect),双流join-窗口连接,双流join-间隔连接,双流join-同组连结
flink和kafka连接时的精准一次保障的实现
这块比较多....后面在系统的学习一下,忘得差不多了....

7. Flink TableAPI/SQL入门