SelectDB Enterprise
发布通告
Enterprise Core

Enterprise Core

Enterprise Core 2.1.x

Enterprise Core 2.1.4

发布日期:2024 年 6 月 26 日

  • 查询优化器支持 FE 火焰图工具、SELECT DISTINCT 与聚合函数同时使用、无 GROUP BY 的单表查询重写及高并发点查询功能。
  • 湖仓一体支持 Paimon 的原生读取器来处理 Deletion Vector、在表值函数(TVF)中使用 Resource及通过 Ranger 插件实现数据脱敏。
  • 异步物化视图构建支持分区上卷、触发式更新、指定 store_row_column及Storage Medium,透明改写支持单表异步物化视图及AGG_STATE 类型的聚合上卷。
  • 其他功能支持,包括新增 replace_empty 函数、支持 show storage policy using 语句及 BE 侧的 JVM 指标。
  • 进行了多项功能优化,包括优化 Segment Cache 所消耗内存的估算准确度、支持为中文列名创建倒排索引等。
  • 对查询优化器、查询执行、物化试图、半结构化数据分析等多方面进行了问题修复。

Enterprise Core 2.1.3

发布日期:2024 年 5 月 17 日

  • 支持INSERT INTO Hive Catalog 中的 hive 表。
  • 添加视图显示语句以查询视图。
  • 工作负载组支持绑定到特定的 BE 主机。
  • Broker Load 支持压缩的 JSON 格式。
  • 截断函数可以使用列作为比例参数。
  • 支持 mv 嵌套物化视图重写。
  • 添加 BypassWorkloadGroup 以传递查询队列。
  • 添加添加新函数 uuid_to_int、int_to_uuid 和 strcmp,支持hll函数hll_from_base64、hll_to_base64。
  • 支持Variant类型的聚合模型。

Enterprise Core 2.1.2

发布日期:2024 年 4 月 18 日

  • 增加 processlist 系统表功能,用户可以通过查询系统表获得活跃的链接信息。
  • 增加新的表函数 LOCAL 以访问部分共享存储上的文件。
  • 将 EXPORT 命令中 data_consistence 属性的默认值调整为 Partition,这可以使得并发导入的同时做 EXPORT 操作更容易成功。
  • 兼容部分 MySQL Connector(如 MySQL.Data for .NET)将 SELECT @``@autocommit 的返回值类型变更为 BIGINT。
  • 修复正常 Workload Group 从 2.0 或者更早版本升级到 2.1 时没有默认创建的问题。
  • 在 Profile 中增加已命中的物化视图信息,能够方便地定位物化视图是否命中。
  • 增加 DNS Cache,解决 K8s 环境下域名解析较慢,从而影响查询的问题。
  • 增加异步刷新 Catalog 中表的行数信息,避免查询抖动。

Enterprise Core 2.1.1

发布日期:2024 年 4 月 8 日

  • 改变 Float 类型字段返回值序列化的方式,提升大数据量下 Float 返回的性能。
  • 修复了从 2.0.x 滚动升级至 2.1.x 的过程中,部分 BE 节点升级出现 Core 的问题及使用 JDBC Catalog 会出现 Query 报错的问题。
  • 支持 IP 透传的协议,以方便在 FE 之前启用代理的同时还能获取客户端准确的 IP 地址,实现白名单权限控制。
  • 增加系统表 backend_active_tasks ,以实时监测每个 BE 上活跃任务以及消耗的资源信息。
  • CCR 支持倒排索引。
  • Arrow 序列化方式增加对 Variant 类型的支持。
  • 修复包括在 Restore 过程中 BE 有时候会 Core 在内的 20 项 bug 。

Enterprise Core 2.1.0

发布日期:2024 年 3 月 18 日

  • 复杂 SQL 查询性能的进一步提升,在 TPC-DS 1TB 测试数据集上获得超过 100% 的性能提升,查询性能居于业界领先地位。
  • 数据湖分析场景性能改进、相对于 Trino 和 Spark 分别有 4-6 倍的性能提升,并引入了多 SQL 方言兼容、便于用户可以从原有系统无缝切换至 Apache Doris。在面向数据科学以及其他形式的大规模数据读取场景,引入了基于 Arrow Flight 的高速读取接口,数据传输效率提升 100 倍。
  • 在半结构化数据分析场景,引入了全新的 Variant 和 IP 数据类型,完善了一系列分析函数,面向复杂半结构化数据的存储和分析处理更加得心应手。
  • 引入基于多表的异步物化视图以提升查询性能,支持透明改写加速、自动刷新、外表到内表的物化视图以及物化视图直查,基于这一能力物化视图也可用于数据仓库分层建模、作业调度和数据加工。
  • 在数据存储方面,引入了自增列、自动分区、MemTable 前移以及服务端攒批的能力,提高大规模数据实时写入的效率。
  • 在负载管理方面,进一步完善了 Workload Group 资源组的隔离能力,并增加了运行时查看 SQL 资源用量的能力,进一步提升了多负载场景下的稳定性。

Enterprise Core 2.0.x

Enterprise Core 2.0.13

发布日期:2024 年 7 月 23 日

  • 仅在客户端设置 CLIENT_MULTI_STATEMENTS 时,将输入的 SQL 视为多个语句处理,以增强与 MySQL 的兼容性。
  • 新增 BE 配置 allow_zero_date,允许使用全零的日期。设置为false0000-00-00被解析成NULL,设置为true时则被解析成0000-01-01, 默认值为false,跟之前的行为保持一致。
  • LogicalWindow 和 LogicalPartitionTopN 允许多字段谓词下推,以提升性能。
  • ES Catalog 将 ES nested或者object类型映射成 Doris JSON类型。
  • LIMIT 查询现在会更早地停止读取数据,以减少资源消耗并提升性能。
  • 支持具有空键的特殊 JSON 数据。
  • routine load 的稳定性和易用性提升,包括负载均衡,自动恢复,异常处理,更友好的错误信息等。
  • 对 BE 的硬盘选择策略和速度进行了优化。
  • 改进了 JDBC Catalog 的稳定性和可用性,包括加密,线程池连接数等配置,更友好的错误信息等。

Enterprise Core 2.0.12

发布日期:2024 年 7 月 1 日

  • 不再将建表的默认注释设置为表的类型,而是改成默认为空,比如 COMMENT 'OLAP' 变成 COMMENT '',这样对于依赖注释的 BI 软件更加友好。
  • 将 autocommit 变量的类型从 BOOLEAN 改成 BIGINT,以免有些 mysql 客户端(比如.NET MySQL.Data)报错
  • 删除 disable_nested_complex_type 参数,默认允许创建嵌套的 ARRAY MAP STRUCT 类型
  • HMS catalog 支持 SHOW CREATE DATABASE 命令
  • 在 query profile 中增加更多倒排索引的指标
  • 跨集群数据复制(CCR)支持倒排索引

Enterprise Core 2.0.11

发布日期:2024 年 6 月 7 日

  • 为 JSON 和 TIME 添加 Trino JDBC catalog 类型映射
  • 在无法转移到(非)主节点时,FE 退出以防止未知状态和过多日志
  • 在删除统计表时写入审计日志
  • 如果表只进行了部分分析,忽略最小/最大列统计以避免低效的查询计划
  • 支持集合操作减法,例如set1 - set2
  • 使用 concat(col, pattern_str) 改进 LIKE 和 REGEXP 子句的性能,例如:col1 LIKE concat('%', col2, '%')
  • 添加查询选项以支持短路查询,保证升级兼容性
  • 由于倒排索引已经成熟稳定,可以替换老的 BITMAP INDEX,因此后续新建 BITMAP INDEX 会自动切换成 INVERTED INDEX,而已经创建的 BITMAP INDEX 保持不变。整个切换过程对用户无感知,写入和查询没有变化,此外用户可以修改 FE 配置 enable_create_bitmap_index_as_inverted_index = false 来关闭该自动切换

Enterprise Core 2.0.10

发布日期:2024 年 5 月 20 日

  • 增加了read_onlysuper_read_only 变量以保持和 MySQL 兼容
  • 仅在 IO_ERROR 的错误才把数据目录加入 broken list,防止 fd 超限等错误导致误加入
  • 基于外表 CTAS 创建新表时,把 varchar 类型转成 string 类型
  • 支持把 Paimon 的 Row 类型映射成 Doris 的 Struct 类型
  • 在创建 tablet 选择数据盘时,允许存在少量的倾斜
  • set replica drop命令记录 editlog,以防止在 follower 节点执行命令后,其状态显示不正确
  • schema change 内存自适应避免内存超限
  • 倒排索引中 unicode 分词器可以配置不使用停用词

Enterprise Core 2.0.9

发布日期:2024 年 4 月 24 日

  • 物化视图的 key 和 value 列都允许出现谓词
  • 物化视图支持 bitmap_union(bitmap_from_array())
  • 增加一个 fe 配置强制集群中所有表的 replicate allocation
  • 新优化器支持日期字面量指定时区
  • MATCH_PHRASE 全文检索支持 slop 参数指定搜索词之间的距离
  • first_value/last_value 函数增加第二个参数指定忽略 NULL 值
  • lead/lag function 的offset 参数可以为 0
  • 调整物化视图匹配的顺序优先利用索引和预聚合加速查询

Enterprise Core 2.0.8

发布日期:2024 年 4 月 12 日

  • 新优化器支持 TopN 优化中使用倒排索引
  • 限制统计信息 STRING 长度为 1024 以控制 BE 内存消耗
  • 修复未创建 JDBC Client 时意外关闭的情况
  • 接受所有 Iceberg Database,不再做额外的名字检查
  • 异步更新外表行数统计,避免同步更新带来的 Cache miss 和 Plan 不稳定
  • 简化 Hive 外表的 isSplitable 方法,避免过多的 Hadoop metric

Enterprise Core 2.0.7

发布日期:2024 年 3 月 26 日

  • round 函数行为及时间精度转换行为跟 MySQL 保持一致
  • 支持通过 Nginx, HAProxy 等代理连接的 IP 透传
  • 通过在 information_schema 中增加 DEFAULT_ENCRYPTION 列、增加 processlist 表,提升 BI 工具的兼容性
  • 创建 JDBC Catalog 时默认自动检测连通性
  • 增强自动恢复提升 kafka routine load 的稳定性
  • 倒排索引中文分词对英文默认做小写转换
  • repeat 函数的重复次数超过限制时报错
  • 自动跳过 Hive 外表中的隐藏文件和目录
  • 在某些极端情况下减少 file meta cache 避免 OOM
  • 减少 broker load 的 jvm 内存占用
  • 加速带排序的 INSERT INTO SELECT 比如 INSERT INTO t1 SELECT * FROM t2 ORDER BY k

Enterprise Core 2.0.6

发布日期:2024 年 3 月 14 日

  • 自动选择物化视图时支持匹配带别名的函数
  • 增加安全下线一个 tablet 副本的命令
  • 外表统计信息增加行数统计缓存
  • 统计信息收集支持 rollup
  • 使用 protobuf 稳定序列化减少 tablet schema 缓存内存占用
  • 提升 show column stats 的性能
  • 统计信息收集和优化器支持 iceberg 和 paimon 的行数估计
  • jdbc catalog 支持读取 SQL Server 的 timestamp 类型

Enterprise Core 2.0.5

发布日期:2024 年 2 月 28 日

  • 增加 SHOW TABLETS BELONG 语法用于获取 tablet 属于哪个 table。
  • InferPredicates 支持 IN,例如:a = b & a in [1, 2] -> b in [1, 2]。
  • 利用过滤条件中的 is null 谓词,将 outer join 转换为 anti join。
  • 支持对物化视图收集统计信息,并对统计信息收集任务优化,停止 auto analyze 后尽快停止统计收集。
  • SHOW PROCESSLIST 支持输出连接对应的 fe。
  • export 导出 csv 文件支持通过 with_bom 参数控制是否带有 Windows BOM。
  • Query plan 优化,包含在无统计信息时的优化和基于 rollup 的统计信息的优化。
  • 修复 MySQL catalog 中 to_date 函数下推的问题。
  • 优化 JDBC 客户端连接关闭的逻辑,在异常时正常取消查询。
  • 优化 routine load 的内存占用和错误信息。

Enterprise Core 2.0.4

发布日期:2024 年 1 月 26 日

  • 新优化器支持 datev1, datetimev1 和 decimalv2 数据类型以及 ODBC 外表,自动统计信息收集的可观测性和性能优化。
  • 倒排索引支持 lower_case 和 ignore_above 选项以及 match_regexp 和 match_phrase_prefix 查询加速。
  • 数据湖支持 paimon native reader 以及读取 lzo 压缩的 parquet 文件。
  • 审计日志支持 insert into。
  • 更加合理、精确的 precision 和 scale 的推导,满足金融场景的计算需求。
  • drop policy 支持 user 和 role。
  • 改进数据冷却策略以及数据均衡、迁移等存储管控部分,节省本地硬盘存储空间。
  • ASCII 字符串 substr 优化及使用 date 函数时分区裁剪优化。

Enterprise Core 2.0.3

发布日期:2023 年 12 月 8 日

  • 支持自动统计信息收集,通过收集统计信息有助于优化器了解数据分布特性,选择更优的计划以大幅提升查询效率。从2.0.3版本开始正式支持,默认为全天开启状态。
  • 数据湖支持 JAVA UDF、JDBC、Hudi MOR 更多系统支持复杂数据类型。
  • CCR跨集群复制支持限速、truncate table等增强。
  • 增加SHA、JSON更多内置函数。
  • 倒排索引、case when、谓词下推等20多项性能提升。
  • 分布式副本管理改进,包括跳过删除分区,colocate group ,持续写时均衡失败,冷热分层表不能均衡等。
  • 复杂数据类型、倒排索引、物化视图、导入和compaction、数据湖兼容性、SQL规划等稳定性提升。

Enterprise Core 2.0.2

发布日期:2023 年 10 月 8 日

  • 易用性提升,包括优化优先级网络匹配逻辑、行级别支持角色授权等。
  • 新优化器 Nereids 统计数据收集改进,包括运行分析任务时取消文件缓存、支持基本的 jdbc 外部表统计信息收集等。
  • 倒排索引查询性能优化及增强,包括增加 bkd 索引提升新能、优化多词连接查询等。
  • 数据湖 multi-catalog 更友好支持多类型数据源,包括jdbc、hdfs、hive、mysql、maxcompute等。
  • 数组函数优化,array_union 支持多参数。

Enterprise Core 2.0.1

发布日期:2023 年 9 月 10 日

  • 完善了 array 和 map 复杂数据类型的功能和稳定性,包括内表复杂类型嵌套、外表嵌套 orc/parquet 等。
  • 倒排索引查询性能提升,包括分词、数值处理、谓词下推等。
  • 查询性能提升,包括 bitmap, like, scan, 聚合函数等。
  • 跨集群复制 CCR 功能和稳定性完善。
  • 查询优化器统计信息收集更加快速和准确,提升自动查询优化效果。
  • 数据湖 multi-catalog 功能和性能增强,包括 iceberg 性能优化、复杂数据类型等。

Enterprise Core 1.2.x

Enterprise Core 1.2.8

发布日期:2023 年 9 月 5 日

  • 修复若干 decimal 相关的问题。
  • 修复 show tables 无法显示拥有 select 权限的表。
  • 修复副本调度相关的问题。
  • 修复若干查询规划问题。
  • 修复某些情况下,BE 进程文件句柄泄漏的问题。
  • 修复某些情况下,建表超时的问题。
  • 修复读取 ORC 格式文件错误的问题。
  • 修复 Broker 关闭 FileSystem 导致读取错误的问题。
  • 优化 Auto Bucket 的副本大小计算逻辑。
  • 修复某些情况下,Spark Load 空指针异常问题。
© 2023 北京飞轮数据科技有限公司 京ICP备2022004029号 | Apache、Apache Doris 以及相关开源项目名称均为 Apache 基金会商标