弹性

弹性架构实现高效资源管理

弹性架构实现高效资源管理

弹性架构

作为数据分析基础设施,弹性的资源管理一直是其永恒的追求。从一体机到分布式集群,使得资源可以根据业务的规模线性可扩展。从分布式集群到今天的云原生弹性服务,使得可以根据负载的需求,在分钟级完成实时的弹性扩缩容。极致的弹性架构,让资源的管理更加灵活和高效,降低资源的使用成本。

极致的弹性架构依托三种分离。计算与计算分离,实现了更细粒度的计算资源的管理;不同热度的数据分层存储,在不损失存储性能的情况下,实现了存储成本的大幅下降;存算分离的实现,让计算和存储实现了真正的独立扩缩容。

弹性架构

核心特性

计算-计算分离
计算-计算分离

依托三种机制实现不同类型的计算负载组之间的隔离

  • Resource Group:将不同的 BE 划分到不同的资源组里,实现计算负载的硬隔离
  • Workload Group:在 BE 进程内实现计算负载的软隔离,并且支持计算作业的排队机制
  • Compute Node:一组 BE 进程,不存储数据,仅负责执行对远程数据湖/数据库上的查询
存储-存储分离
存储-存储分离

通过冷热分层(Tiered Storage),将冷数据存储到更低成本的存储上

  • 支持从 SSD 迁移到 HDD,对象存储/ HDFS,三级存储
  • 支持相对和绝对两种冷却时间的设置
  • 支持对冷数据的读取缓存
存储-计算分离
存储-计算分离

在云平台上提供的云原生服务,实现了真正的存储和计算分离

  • 依托对象存储作为共享存储,实现计算节点本地高速缓存
  • 多计算集群实现了不同计算负载的隔离
  • 计算节点的弹性扩缩容

查看其他特性