flink sql groupBy 使用注意

1、flink sql groupBy异常疑惑
在flink sql的任务开发中,会大量使用groupBy聚合数据,但是下一些场景回发现使用groupBy会报错,我自己在刚开发flink sql任务不久,发现这个问题同样的写法,有的地方成功有的地方失败,有一段时间感觉很疑惑。
下面是使用 sink kafka的报错信息
sql parser error: AppendStreamTableSink doesn't support consuming update changes which is

produced by node GroupAggregate(groupBy=[log_map], select=[log_map])
从报错信息来看,是因为sink kakfa不支持持续更新,什么意思呢?
groupBy算子操作输出的数据,要覆盖上一次的数据,但是kafka本身的特性是不支持更新的,所以在sink数据的时候我们要注意数据存储容器的特性。判断是否可以使用groupBy,通过判断存储数据的容器是否支持数据更新,一支持数据更

flink sql groupBy 使用注意最先出现在Python成神之路

版权声明:
作者:Zad
链接:https://www.techfm.club/p/9361.html
来源:TechFM
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>