Apache Doris 是一个高性能、实时的分析型数据库,能够较好地满足报表分析、即席查询、数据湖联邦查询加速等使用场景。当前,已经有超过2000多家企业将 Apache Doris 应用到其生产系统中。
在过去的一年,飞轮科技(SelectDB)基于 Apache Doris 内核研发了全托管的企业级云数仓服务 SelectDB Cloud,设计并实现了全新的云原生存算分离架构,提供了多计算集群负载隔离和计算弹性扩缩容等功能。
经过一年多来数百用户的试用和大量客户的生产验证,今天我们正式开放 SelectDB Cloud,大家无需再通过申请,可以免费试用和按需购买。当前SelectDB Cloud,已经支持阿里云、华为云、腾讯云和国外 AWS,预计下半年会支持亚马逊云科技与国外 GCP。
我们一起回顾一下,在过去的一年,SelectDB Cloud 的进化历程:
- 2022年 7 月,半托管版本 v1 正式上线,开始进行客户邀测使用。
- 2022年 8 月,全托管版本 v2 正式上线。
- 2022年 10 月,存算分离架构正式上线。中国站支持阿里云、国际站支持 AWS。
- 2022年 11 月,中国站新增对腾讯云和华为云的支持。
- 2023年 2 月,支持包年包月,增加可视化开发工具 WebUI。
- 2023年 5 月,Serverless 化:去除节点型号和节点数的集群配置方式,改为仅需要指定vCPU数即可。
- 2023年 6 月,Serverless 化:支持手动弹性伸缩、定时弹性伸缩和自动启停。
云原生存算分离架构
01 共享存储
在存算分离架构下,计算节点不再存储主数据,而是将对象存储作为共享的数据主存储空间。使用成熟稳定的对象存储系统来存储全量数据,并支持多计算集群共享存储,为数据仓库带来了极低的存储成本、极高的数据可靠性和无限的存储容量,并且大大简化了上层计算集群的实现复杂度。
存算分离依赖从对象存储上读取数据来进行计算。为了缓解由于对象存储的性能和网络带来的延迟,在计算节点会利用本地 SSD 作为高速缓存。系统会自动根据 LRU 来缓存最新写入和访问数据,当然也可以手动设定表的缓存策略。由于只是缓存,因此本地只存储了单个副本,这样大大提升了缓存利用率,相比存算一体模式可以降低 2/3 的高速存储使用。
02 多计算集群
用户通常希望对同一份数据上的分析负载进行隔离。例如,导入的工作负载与查询的负载进行隔离,Adhoc 的大查询负载和在线点查询的负载间相互隔离,避免不同负载间相互资源抢占。在存算分离模式下,提供了同一个仓库多个物理计算集群的隔离方式。因为主数据存储在共享的对象存储上,因此用户可以按需创建多个计算集群但共享同一份数据。计算集群之间是物理隔离的,可以独立扩缩容,其计算节点的本地高速缓存都是隔离的,这样保证了尽可能比较好的隔离性。
03 弹性扩缩容
计算集群的计算节点,可以根据计算的负载进行更加高效的弹性扩缩容,包括手动扩缩容、定时扩缩容以及自动停机。
内置 WebUI
SelectDB Cloud WebUI(简称 WebUI)是面向数据开发场景,由 SelectDB 提供的云上数据开发 Web 应用,能协助用户管理、探索数据,可以替代 Navicat 和 DBeaver。当前主要功能为:
- 数据管理 :查看、管理数据库中的数据,当前支持查看。
- 数据查询 :简单易用的 SQL 查询编辑器,支持查询执行、查看查询 Profile、查看查询历史、保存查询。
- 数据集成 :轻松连接云上对象存储中的数据,进行数据湖连接,导入样例数据。
- 权限管理 :管理数据库内的用户和角色,并对其进行授予、撤销权限。
SelectDB Cloud上的集群自动启停
多云一致
越来越多的企业,基于对数据安全、供应商锁定、业务快速扩展、服务高可用等因素的考虑,越来越多的采用多云和混合云的部署方案。
SelectDB Cloud 支持在多个公有云上使用,通过一套管控,可以管理分布在不同云上的仓库集群,屏蔽底下不同云的独特性,实现一致的使用体验和运维体验。
同时,在私有化部署、私有云上,客户可以使用开源的 Apache Doris 或者 SelectDB Enterprise。三者相同的功能和性能,确保使用一致。
开源开放
SelectDB Cloud 是基于开源 Apache Doris 进行构建,并且保持与开源 Apache Doris 的使用高度兼容。这样就保证了企业无论是自己部署 Apache Doris 还是使用 SelectDB Cloud 云服务,都能拥有一致的使用体验。SelectDB Cloud 也正在打造与 Apache Doris 进行高效数据互相迁移的工具,方便企业在 Doris 与 SelectDB 之间自由迁移。
同时,SelectDB Cloud 也是一个生态开放的系统,与各大云厂商进行深度合作,与云上的上下游产品进行适配打通。8月底,SelectDB Cloud 与 阿里云深度合作的阿里云云数仓 SelectDB 版,作为阿里云的一方产品也会正式发布上线,届时大家可以直接在阿里云平台上购买使用,体验更加阿里云原生的云数仓服务。
SelectDB Cloud 也期待与更多云厂商未来的深度合作。