CloudCanal-2.0 自定义代码实时加工能力(自定义实时ETL)说明与介绍

简介
CloudCanal 2.0中我们将迎来一项重磅更新——自定义代码实时加工能力。自定义代码实时加工允许用户使用Java语言编写自定义的数据行处理逻辑，然后将代码jar包上传CloudCanal平台后，数据同步任务在执行全量、增量时会自动应用用户的自定义处理逻辑，然后再写入对端数据源。
应用场景
自定义代码实时加工是一种非常灵活的实时数据加工手段，在自定义代码中用户可以进行跨实例查询、微服务调用、缓存查询等各种操作，然后对实时接收到的数据行进行编辑。数据编辑支持用户自定义新增行、修改行、删除行。其中修改行支持用户新增列、修改列、删除列。自定义代码实时加工可用于以下场景：
数据清洗
构建实时数仓、数据湖以及进行数据治理时都需要对数据进行清洗，涉及数据过滤、加工、标准化。在这个过程中，用户可以上传自定义代码，引入自己的一些企业内部数据标准化处理的二方包或者调用一些微服务或者反查数据库对收到的实时数据

CloudCanal-2.0 自定义代码实时加工能力(自定义实时ETL)说明与介绍最先出现在Python成神之路。