flink sql groupBy 使用注意
1、flink sql groupBy异常疑惑
在flink sql的任务开发中,会大量使用groupBy聚合数据,但是下一些场景回发现使用groupBy会报错,我自己在刚开发flink sql任务不久,发现这个问题同样的写法,有的地方成功有的地方失败,有一段时间感觉很疑惑。
下面是使用 sink kafka的报错信息
sql parser error: AppendStreamTableSink doesn't support consuming update changes which is
produced by node GroupAggregate(groupBy=[log_map], select=[log_map])
从报错信息来看,是因为sink kakfa不支持持续更新,什么意思呢?
groupBy算子操作输出的数据,要覆盖上一次的数据,但是kafka本身的特性是不支持更新的,所以在sink数据的时候我们要注意数据存储容器的特性。判断是否可以使用groupBy,通过判断存储数据的容器是否支持数据更新,一支持数据更
共有 0 条评论