v3.0
本文介绍 SelectDB 内核 3.0 版的发布记录。
说明 SelectDB Core v3.0 基于 Apache Doris v2.0 (opens in a new tab) 开发。
v3.0.10（2024年08月23日）
改进优化
- 合入了 Apache Doris v2.0.13 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
问题修复
- 修复了向腾讯云对象存储（COS）copy into 失败的问题。
v3.0.9（2024年06月25日）
改进优化
- 合入了 Apache Doris v2.0.11 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
- 合入了 SelectDB Core v3.0.8 版本的所有功能、改进优化和问题修复。
- 优化了 mow 表导入计算 delete bitmap，提升了导入速度和鲁棒性。
- 优化了 show data 的响应速度。
- 优化了反向索引以及半结构化数据查询性能。
问题修复
- 修复了 copy into 任务过多导致仓库 OOM 的问题。
- 修复了仓库 alter job 过多可能导致仓库 OOM 的问题。
- 修复了仓库 metrics 在多 cluster 时可能会有 metrics 缺失的问题。
- 修复了单个事务内多 tablet 导入极端情况下某些 tablet 缺 version 的问题。
- 修复了修改 file cache 缓存大小之后仓库不能立即感知的问题。
- 修复了若干个 JDBC 外表连接的问题。
- 修复了 ES Catalog 无法使用 esquery 的问题。
- 修复了 balance 不均以及 decommission 卡住的问题。
v3.0.8（2024年05月15日）
新增功能
- 支持了 recycler 限速。
- 支持了 show proc 语句。
- 支持了获取所有的 json keys。
改进优化
- 合入了 Apache Doris v2.0.10 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
- 优化了建表耗时。
- 优化了 mow 表 delete bitmap 计算速度，提高导入吞吐。
- 优化了 mow 表高频导入（版本多）查询速度。
- 优化了查询效率。
问题修复
- 修复了 rename cluster 之后指标不正确的问题。
- 修复了 rename cluster 之后流量统计不准确的问题。
- 修复了 show processlist 格式不对的问题。
- 修复了 schema change 内存不够导致失败的问题。
- 修复了 audit log 组件导入权限的问题。
- 修复了 datetimev2 round 函数出错的问题。
- 修复了 nullable 规划可能会导致 coredump 的问题。
- 修复了 nullable 规划可能会导致结果错误的问题。
v3.0.7（2024年03月31日）
新增功能
- 支持了审计日志插件（需要手动建审计日志表）。
改进优化
- 合入了 Apache Doris v2.0.6 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
- 执行 query 时如果 user 没设置 default cluster，则按照 cluster 名称词典顺序选取可用的（活的、有权限的）cluster。
- 集群自动停机之后，触发自动启动集群不再需要显式 use cluster。
- 优化了反向索引/日志场景的可用性和性能。
- 新优化器优化了歧义的 projection having 语法。
- 提升了反向索引 compound in list 性能。
问题修复
- 修复了大量 delete 触发导入失败的问题。
- 修复了统计信息逻辑重复触发 SQL 导致集群自动停机逻辑失效的问题。
- 修复了导入指定 UTC 时区转换错误的问题。
- 从 JDBC 修复了 show process list 报错的问题。
- 修复了表属性 ttl_seconds 在做完 checkpoint 之后重启清 0 的问题。
- 修复了 date/month/year add function。
v3.0.6（2024年02月05日）
新增功能
- 支持了自动 analyze。
- 支持了宽表导入。
- 支持了 group commit（攒批/实时 导入）。
- 支持了 in left join infer。
改进优化
- 合入了 Apache Doris v2.0.4 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
- 优化了导入失败时的错误提示。
- 提升了稳定性。
问题修复
- 修复了集群重启可能会导致 cluster 权限失效的问题。
- 修复了从 SelectDB Core v2.4.x 系列版本升级到 v3.0.x 系列版本失败的问题。
- 修复了 show processlist 指令输出排版错位的问题。
- 修复了 alter table TTL 属性可能不生效（show 出来是 0 ）的问题。
- 修复了查询偶尔报 failed to initialize storage reader 的问题。
- 修复了 parquet reader 异常路径可能会导致内存泄漏的问题。
- 修复了外表 date_sub, data_add, to_date 函数下推的问题。
- 修复了 colocate 因为参与 balance 导致 colocate jion 规划失效的问题。
- 修复了 alter colocate 属性 replay 失败的问题。
- 修复了 delete 条件带特殊字符导致不能查询数据的问题。
- 修复了读查询小概率报 NOT_IMPLEMENTED_ERROR 的问题。
- 修复了导入时区转换导致数据不正确的问题。
- 修复了 substr() 传入负值会导致 coredump 的问题。
v3.0.5（2023年12月20日）
新增功能
- 提供了 stream load 兼容 API。
/api/{db}/{table}/_stream_load_2pc- 开放了 show /proc/statistic 的白名单。
改进优化
- 合入了 Apache Doris v2.0.3 (opens in a new tab) 版本的所有功能（不建议开启自动 analyze 功能）、改进优化和问题修复。
- 提升了 mow 表导入的稳定性。
- 提升了 dynamic table 建表速度。
- 提升了生成 plan 的性能。
- 优化了 decimal 运算行为。
- 提升了稳定性。
问题修复
- 修复了 S3 buffer 不够可能会导致写入卡住的问题。
- 修复了多 cluster 场景下查询可能会报 “failed to find version path” 的问题。
- 修复了多 cluster 场景下 plan 可能会跨 cluster 的问题。
- 修复了因为改变 varchar 长度导致 dynamic partition 不能新建 partition 的问题。
- 修复了 show create table decimal 不兼容 SmartBI 的问题。
- 修复了列类型转换功能可能会不可用的问题。
- 修复了行存表属性不生效的问题。
- 修复了 base compaction 可能会失败的问题。
- 修复了点查可能查不到最新数据的问题。
- 修复了 copy into 重复文件需要等待超时的问题。
- 修复了 query_parallel_instance_num 可能会除以 0 的问题。
- 修复了 cache 命中率计算可能会不准确的问题。
- 修复了 ngram 索引不生效的问题。
v3.0.4（2023年11月23日）
新增功能
- 支持了 show proc current_stmt。
改进优化
- 增强了访问控制安全性。
- 增强了上传数据校验可靠性。
- 提升了 warehouse 元数据服务可用性。
- 优化了建表 dynamic_partition.replication_num 的错误提示。
问题修复
- 修复了 SelectDB Core v2.4 升级到 v3.0 可能会导致 copy into 失败的问题。
- 修复了使用 external stage 导入授权可能会失败的问题。
- 修复了 routine load 导入可能会失败的问题。
- 修复了 mow 表导入可能会失败的问题。
- 修复了实时写 insert 语句可能会失败的问题。
- 修复了 tpcds 性能下降的问题。
- 修复了非 global 的 session variable 可能不生效的问题。
- 修复了 query 中 where 大量条件使 CPU 消耗高而执行慢的问题。
v3.0.3（2023年11月02日）
新增功能
- 支持了 Doris Clean Label。
- Stream Load 云上 API 兼容了 Doris 社区行为。
- 仓库内置了 JDBC Driver。
改进优化
- 新优化器 top n 默认支持了 runtime filter 裁剪。
问题修复
- 修复了仓库因为资源泄漏导致查询响应慢的问题。
- 修复了 function 语句禁用不生效的问题。
- 修复了重排列 schema change 会失败的问题。
v3.0.2（2023年10月17日）
新增功能
- 增加了 S3 协议导入的 JDBC Driver URL 白名单功能。
改进优化
- 合入了 Apache Doris v2.0.2 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
- 合入了 SelectDB Core v2.3.10、v2.4.4 版本的所有功能、改进优化和问题修复。
- 减少了 plan 时获取元数据的时间，加快了 plan 生成速度。
- 增加了 Query Profile 访问元数据的耗时统计。
- 均衡优化了资源利用率。
问题修复
- 修复了设置 File Cache TTL 之后读写出错的问题。
- 修复了查询 backends 表或 rowsets 表导致的服务不可用的问题。
v3.0.1-beta（2023年09月18日）
改进优化
- 合入了 Apache Doris v2.0.1 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
- 合入了 SelectDB Core v2.4.3 版本的所有功能、改进优化和问题修复。
- 优化了 get version 的耗时。