Cluster Manager for Apache Doris 24.x 安装手册
Cluster Manager for Apache Doris(以下简称 Doris Manager 或者 Manager)是 SelectDB 推出的管理运维 Apache Doris、SelectDB Doris 集群的工具。您可以根据下文的指引,了解 Doris Manager 24.0.0 版本服务的整体架构,并下载和部署 Doris Manager 24.0.0。
注意:Doris Manager 24.0.0 跟之前的 23.x 系列的 SSH 互信方式是不兼容更新,如果要使用 Doris Manager 24.0.0 的 Agent 模式,需要重新安装,不能直接从 23.x 系列版本直接升级。
Doris Manager 服务架构
不同于 23.x 系列的历史版本的 SSH 互信方式,Doris Manager 24.0.0 版本管控使用 Agent 方式,Agent 和 Server 之间直接使用 HTTP 协议通信,可以结合 SSL 加密数据,保证安全性。服务的整体架构如下图所示:
Doris Manager Web Server
Doris Manager Web 服务是 Manager 网页服务器的服务端,同时也是整个 Doris Manager 实现自动运维管理Apache Doris、SelectDB Doris 集群的核心模块。主要的功能包括:
- 管控 Doris 集群,包括部署、托管、扩容、缩容、升级、配置修改、重启等管控操作;
- 提供网页端访问的服务 API;
- 存储 Doris Manager 所有业务功能的元数据;
- 提供 Doris 集群运维监控告警组件功能;
- 提供自然人访问 Doris Manager 的用户认证系统,同时实现了基于 Doris 集群功能管理的权限系统;
- 通过 Agent 统一管理系统中的 Doris 集群节点,并下发管控指令到 Agent。
Doris Manager Agent
通过 Doris Manager 管控的 Doris 集群,需要在每个 Doris 集群节点上安装一个常驻的 Agent 进程,Agent 默认的端口是8972, 跟 Doris Manager Web 服务所在的机器必须网络联通。Agent 主要的功能包括:
- 接收 Doris Manager Web 服务侧下发的管控命令,执行并返回执行结果;
- 收集 Doris Cluster 节点主机的监控指标,并主动汇报给 Doris Manager Web 服务侧的监控组件存储;
- 定时向 Doris Manager Web 服务汇报 Doris Cluster 节点上主机和 Doris 进程的心跳信息。
部署 Doris Manager Web 服务
安装包下载和说明
下载地址
https://selectdb.com/download/enterprise#manager (opens in a new tab)
安装包说明
- 安装包名称
- doris-manager-24.0.0-x64-bin.tar.gz
- 安装包解压
$ tar -zxvf doris-manager-24.0.0-x64-bin.tar.gz
- 安装包目录结构
doris-manager-24.0.0-x64-bin
webserver // Doris Manager Web 服务组件,这是网页入口服务,需要手工启动
bin // 启停脚本
conf // 配置文件
lib // 服务二进制
static // 前端静态文件
config-tool // Doris Manager 服务管理工具
inspection // 巡检脚本
deps // Doris Manager 管控依赖组件
alertmanager // 告警工具
jdk // jdk依赖包
prometheus // 监控指标存储工具
grafana // 监控看板工具
Doris-Dashboard.json // 默认仪表盘json文件,名称以实际为主
agent
manager-agent-24.0.0-x64-bin.tar.gz // Doris Manager 服务的 Agent 压缩安装包,注意,这个压缩包不能删除
手工部署 Doris Manager Web 服务组件
解压 Doris Manager 安装包之后得到的doris-manager-24.0.0-x64-bin
目录
- 修改安装包目录名称
建议在启动服务之前将doris-manager-24.0.0-x64-bin
目录更换一个名字,例如doris-manager
$ mv doris-manager-24.0.0-x64-bin doris-manager
- 进入安装路径
$ cd doris-manager
- 配置Web服务(可选)
读取安装目录中 webserver 路径下的 conf/manager.conf 文件
# Doris Manager Web服务组件监听的端口
MANAGER_PORT=8004
# 服务依赖的数据库类型: mysql、h2或者postgresql。默认为h2。
DB_TYPE=h2
# 如果数据库类型为h2,默认的数据存储路径为webserver目录下的data路径,
# 用户也可以指定自定义的绝对路径
DATA_PATH=
# 如果数据库类型为mysql,配置mysql数据库的访问地址
DB_HOST=
# 配置mysql/postgresql数据库的访问端口
DB_PORT=
# 配置mysql/postgresql数据库的访问用户
DB_USER=
# 配置mysql/postgresql数据库的访问用户密码
DB_PASS=
# 配置mysql/postgresql数据库的访问Database名称
DB_DBNAME=
# mysql 数据连接 URL 的后缀
DB_URL_SUFFIX='?useSSL=false&useUnicode=true&characterEncoding=UTF-8'
# 配置HTTP握手超时时间 (单位为秒)。默认为30秒
HTTP_CONNECT_TIMEOUT=30
# 配置HTTP接收响应超时时间 (单位为秒)。默认为60秒
HTTP_SOCKET_TIMEOUT=60
# 服务监听的IP协议,支持 ALL、IPV4和IPV6,ALL 表示同时支持IPV4和IPV6
LISTEN_PROTOCOL=ALL
# 升级时 FE 模块安装路径最小的空余磁盘空间,默认为10G
FE_MIN_DISK_SPACE_FOR_UPGRADE=10
# 升级时 BE 模块安装路径最小的空余磁盘空间,默认为10G
BE_MIN_DISK_SPACE_FOR_UPGRADE=10
- 启动 Web 服务
在 webserver 目录直接运行脚本:
$ sh bin/start.sh
- 访问 Web 服务
直接通过浏览器输入 URL——http://{Web服务机器IP}:{Web服务端口},比如 http://172.20.17.107:8004 (opens in a new tab)
通过 Web 服务自动部署服务组件
- 初始化 Doris Manager 管理员账户
第一次访问 Web 服务,进入初始化用户页面,创建第一个 Doris Manager 管理员用户。
- 配置服务组件部署信息
创建 Doris Manager 管理员用户后,点击下一步进入服务组件配置页面,填写配置信息。
设置分为两部分,分别是组件配置与安装包配置:
- 组件配置 : Doris Manager 监控告警服务相关的组件配置。
- 监控告警服务 :可选项,用于配置 Doris Manager 的监控告警模块,这里会安装 Grafana、Prometheus、Alertmanager,需要在安装 Doris Manager 的机器上选择三个可用的端口。
- 邮件告警 :配置邮件服务器,随后可以使用告警中的“邮件告警”渠道。
- 高级配置 :可选项,用于监控访问地址及代理配置。
- 监控访问地址:用于解决通过域名访问 Doris Manager 时,无法查看监控指标的问题。
- 代理配置:如果生产环境和外网隔离,可以设置代理发送通知到公网办公通讯软件。
- 监控告警服务 :可选项,用于配置 Doris Manager 的监控告警模块,这里会安装 Grafana、Prometheus、Alertmanager,需要在安装 Doris Manager 的机器上选择三个可用的端口。
- 安装包配置 :配置本地的 Doris Core、Doris Manager 安装包存放路径,用于新建、升级集群。
- 部署服务组件
点击 启动 Doris Manager ,提示正在启动 Doris Manager。
启动成功后,提示用户 进入 Doris Manager 。
部署 Doris Manager Agent
Doris Manager Web 服务部署成功后,通过服务页面可以部署或者接管 Doris 集群,都会进入提示安装 Agent 的页面。具体的操作步骤为:
查看 Agent 安装指引
点击 查看 ,进入 Agent安装指引详情页面:
注意:如果直接在 Manager Web 服务的安装路径拷贝 Agent 的压缩包,拷贝后不要删除Manager Web 服务的安装路径下的 Agent 压缩包。
安装 Agent
注意:在服务器上安装 Agent 后,管控 Doris 集群时,Agent 会去操作对应的指令,所以相当于用部署 Agent 的机器用户去部署 Doris 集群,需要注意相关权限的内容。
- 登录 Doris 集群节点,下载或者拷贝安装包到对应的 Doris 集群节点
这里选择的下载方式:
- 解压 Agent 安装包,并修改安装路径名称
- 启动 Agent
进去 Agent 安装目录,Agent 目录结构如下所示:
manager-agent
bin // 启停脚本
conf // 配置文件
lib // 服务二进制
启动 Agent:
执行 crontab -e,查看 Agent 进程常驻保活机制是否生效:
- 回到 Doris Manager 页面,确认 Agent 状态正常
升级 Doris Manager 服务
Doris Manager 24.0.0 版本的 Agent 模式,跟之前的 23.x 系列版本的 SSH 模式并不兼容,所以这里的升级是指直接从 Agent 模式 24.0.0 以后的版本进行升级。升级的具体过程如下:
- 查看当前版本
点击页面左下角用户信息,可以查看 Doris Manager 当前版本:
- 下载新版本 Doris Manager 安装包
升级页面会提示目标版本安装包在Doris Manager服务器上的存放路径:
直接登录Doris Manager服务器机器,把新版本的安装包存放进目录。再刷新页面,就可以查看并选择目标版本。
点击升级按钮就可以进入升级页面。
- 升级Doris Manager
注意:升级时也会重启webserver组件,所以页面会短暂自动退出,请重新登录即可。
卸载 Doris Manager 服务
卸载当前版本 Doris Manager 服务
- 停止非 webserver 服务组件
找到组件服务的页面,停止该页面出现的所有组件
- 停止 webserver 服务
- 执行命令去掉 webserver 组件的自动拉起机制,
crontab -l | grep -v .doris_manager | crontab -
- 卸载 webserver 服务:进入 manager 部署目录,
cd webserver; sh bin/stop.sh
- 删除 Doris Manager Web 服务的相关安装路径
- 停止每台 Doris 集群节点上的 Agent
- 进入 Agent 安装路径,执行:sh bin/stop.sh 即可
- 删除 Agent 的相关安装路径
卸载 23.x 系列版本 Doris Manager 服务
- 停止非 webserver 服务组件
找到组件服务页面,手动停止该页面出现的所有组件
- 停止 webserver 服务
- 执行命令去掉 webserver 组件的自动拉起机制,
crontab -l | grep -v .doris_manager | crontab -
- 停止 webserver 服务:进入 manager 部署目录,
cd webserver; sh bin/stop.sh