亲爱的社区伙伴们，Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持，并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外，整库同步所依赖的 FlinkCDC，也需升级至 3.1.x 版本，以便更好的应用。
行为变更
-
将整库同步所依赖的 FlinkCDC 版本升级至 FlinkCDC 3.1.x。由于 FlinkCDC 3.1 及后续版本已捐赠给 Apache 基金会，并与 FlinkCDC 2.4 版本不兼容，因此在升级 Doris Flink Connector 时，已运行的整库同步作业无法从之前的状态重启，需要在将 Flink CDC 升级到 3.1 版本后进行一次无状态重启。具体可参考 Apache Flink CDC 3.1.0 发布公告 兼容性章节。
-
考虑到上述不兼容性以及与其他 Connector（如 Spark 和 Kafka）版本的一致性，我们将 Connector 版本号更改为 24.x 系列。具体可参考： [DISCUSS] About the next version change of Connector
新增功能
- 支持 Flink 1.20
- 支持 DB2 的数据库同步
- CDC SchemaChange 支持使用 JSQLParser 框架解析 DDL
- 支持 Stream Load GZ 压缩导入
- 支持通过 Arrow Flight SQL 读取 Doris 中数据
改进提升
- 升级 FlinkCDC 版本到 3.1.1
- 支持 DB2/Postgres/SQLServer 进行数据同步的 JDBC 参数设置
- 优化攒批写入模式
- 优化部分 CDC 同步的逻辑
- MySQL 整库同步支持 Integer 类型
Bug 修复
- 修复 Map 子类型为 Date/Datetime 类型时的读取序列化问题
- 修复 FlinkSQL 投影下推的 Bug
- 修复 MongoDB 同步 Decimal 类型的问题
- 兼容 Doris 修复 arrow 读取 timestamp 类型的问题
- CDC 整库同步修复 delete 事件不生效的问题
- 修复 Schema Change 默认值空时转换逻辑错误的问题
致谢
在此向参与版本设计、开发、测试、讨论的社区贡献者们表示感谢，他们分别是：
@bingquanzhao @DongLiang-0 @JasonLeeCoding @JNSimba@MaoMiMao @qg-lin@tmc9031 @vinlee19
