Cluster Manager for Apache Doris 24.x 安装手册

Cluster Manager for Apache Doris（以下简称 Doris Manager 或者 Manager）是 SelectDB 推出的管理运维 Apache Doris、SelectDB Doris 集群的工具。您可以根据下文的指引，了解 Doris Manager 24.0.0 版本服务的整体架构，并下载和部署 Doris Manager 24.0.0。

注意：Doris Manager 24.0.0 跟之前的 23.x 系列的 SSH 互信方式是不兼容更新，如果要使用 Doris Manager 24.0.0 的 Agent 模式，需要重新安装，不能直接从 23.x 系列版本直接升级。

Doris Manager 服务架构

不同于 23.x 系列的历史版本的 SSH 互信方式，Doris Manager 24.0.0 版本管控使用 Agent 方式，Agent 和 Server 之间直接使用 HTTP 协议通信，可以结合 SSL 加密数据，保证安全性。服务的整体架构如下图所示：

Doris Manager Web Server

Doris Manager Web 服务是 Manager 网页服务器的服务端，同时也是整个 Doris Manager 实现自动运维管理Apache Doris、SelectDB Doris 集群的核心模块。主要的功能包括：

1. 管控 Doris 集群，包括部署、托管、扩容、缩容、升级、配置修改、重启等管控操作；
2. 提供网页端访问的服务 API；
3. 存储 Doris Manager 所有业务功能的元数据；
4. 提供 Doris 集群运维监控告警组件功能；
5. 提供自然人访问 Doris Manager 的用户认证系统，同时实现了基于 Doris 集群功能管理的权限系统；
6. 通过 Agent 统一管理系统中的 Doris 集群节点，并下发管控指令到 Agent。

Doris Manager Agent

通过 Doris Manager 管控的 Doris 集群，需要在每个 Doris 集群节点上安装一个常驻的 Agent 进程，Agent 默认的端口是8972， 跟 Doris Manager Web 服务所在的机器必须网络联通。Agent 主要的功能包括：

1. 接收 Doris Manager Web 服务侧下发的管控命令，执行并返回执行结果；
2. 收集 Doris Cluster 节点主机的监控指标，并主动汇报给 Doris Manager Web 服务侧的监控组件存储；
3. 定时向 Doris Manager Web 服务汇报 Doris Cluster 节点上主机和 Doris 进程的心跳信息。

部署 Doris Manager Web 服务

安装包下载和说明

下载地址

https://selectdb.com/download/enterprise#manager (opens in a new tab)

安装包说明

1. 安装包名称
   1. doris-manager-24.0.0-x64-bin.tar.gz
2. 安装包解压

$ tar -zxvf doris-manager-24.0.0-x64-bin.tar.gz

3. 安装包目录结构

doris-manager-24.0.0-x64-bin
    webserver // Doris Manager Web 服务组件，这是网页入口服务，需要手工启动
       bin  // 启停脚本
       conf  // 配置文件
       lib  // 服务二进制
       static  // 前端静态文件
       config-tool  // Doris Manager 服务管理工具
       inspection  // 巡检脚本
    deps // Doris Manager 管控依赖组件
       alertmanager // 告警工具
       jdk // jdk依赖包
       prometheus // 监控指标存储工具
       grafana // 监控看板工具
       Doris-Dashboard.json // 默认仪表盘json文件，名称以实际为主
    agent
       manager-agent-24.0.0-x64-bin.tar.gz // Doris Manager 服务的 Agent 压缩安装包，注意，这个压缩包不能删除

手工部署 Doris Manager Web 服务组件

解压 Doris Manager 安装包之后得到的doris-manager-24.0.0-x64-bin目录

1. 修改安装包目录名称

建议在启动服务之前将doris-manager-24.0.0-x64-bin目录更换一个名字，例如doris-manager

$ mv doris-manager-24.0.0-x64-bin doris-manager

2. 进入安装路径

$ cd doris-manager

3. 配置Web服务（可选）

读取安装目录中 webserver 路径下的 conf/manager.conf 文件

# Doris Manager Web服务组件监听的端口
MANAGER_PORT=8004

# 服务依赖的数据库类型: mysql、h2或者postgresql。默认为h2。
DB_TYPE=h2

# 如果数据库类型为h2，默认的数据存储路径为webserver目录下的data路径，
# 用户也可以指定自定义的绝对路径
DATA_PATH=

# 如果数据库类型为mysql，配置mysql数据库的访问地址
DB_HOST=

# 配置mysql/postgresql数据库的访问端口
DB_PORT=

# 配置mysql/postgresql数据库的访问用户
DB_USER=

# 配置mysql/postgresql数据库的访问用户密码
DB_PASS=

# 配置mysql/postgresql数据库的访问Database名称
DB_DBNAME=

# mysql 数据连接 URL 的后缀
DB_URL_SUFFIX='?useSSL=false&useUnicode=true&characterEncoding=UTF-8'

# 配置HTTP握手超时时间 (单位为秒)。默认为30秒
HTTP_CONNECT_TIMEOUT=30

# 配置HTTP接收响应超时时间 (单位为秒)。默认为60秒
HTTP_SOCKET_TIMEOUT=60

# 服务监听的IP协议，支持 ALL、IPV4和IPV6，ALL 表示同时支持IPV4和IPV6
LISTEN_PROTOCOL=ALL

# 升级时 FE 模块安装路径最小的空余磁盘空间，默认为10G
FE_MIN_DISK_SPACE_FOR_UPGRADE=10

# 升级时 BE 模块安装路径最小的空余磁盘空间，默认为10G
BE_MIN_DISK_SPACE_FOR_UPGRADE=10

4. 启动 Web 服务

在 webserver 目录直接运行脚本：

$ sh bin/start.sh

5. 访问 Web 服务

直接通过浏览器输入 URL——http://{Web服务机器IP}:{Web服务端口}，比如 http://172.20.17.107:8004 (opens in a new tab)

通过 Web 服务自动部署服务组件

1. 初始化 Doris Manager 管理员账户

第一次访问 Web 服务，进入初始化用户页面，创建第一个 Doris Manager 管理员用户。

2. 配置服务组件部署信息

创建 Doris Manager 管理员用户后，点击下一步进入服务组件配置页面，填写配置信息。

设置分为两部分，分别是组件配置与安装包配置：

• 组件配置 ： Doris Manager 监控告警服务相关的组件配置。
  • 监控告警服务 ：可选项，用于配置 Doris Manager 的监控告警模块，这里会安装 Grafana、Prometheus、Alertmanager，需要在安装 Doris Manager 的机器上选择三个可用的端口。
    • 邮件告警 ：配置邮件服务器，随后可以使用告警中的“邮件告警”渠道。
    • 高级配置 ：可选项，用于监控访问地址及代理配置。
      • 监控访问地址：用于解决通过域名访问 Doris Manager 时，无法查看监控指标的问题。
      • 代理配置：如果生产环境和外网隔离，可以设置代理发送通知到公网办公通讯软件。
• 安装包配置 ：配置本地的 Doris Core、Doris Manager 安装包存放路径，用于新建、升级集群。

3. 部署服务组件

点击 启动 Doris Manager ，提示正在启动 Doris Manager。

启动成功后，提示用户 进入 Doris Manager 。

部署 Doris Manager Agent

Doris Manager Web 服务部署成功后，通过服务页面可以部署或者接管 Doris 集群，都会进入提示安装 Agent 的页面。具体的操作步骤为：

查看 Agent 安装指引

点击 查看 ，进入 Agent安装指引详情页面：

注意：如果直接在 Manager Web 服务的安装路径拷贝 Agent 的压缩包，拷贝后不要删除Manager Web 服务的安装路径下的 Agent 压缩包。

安装 Agent

注意：在服务器上安装 Agent 后，管控 Doris 集群时，Agent 会去操作对应的指令，所以相当于用部署 Agent 的机器用户去部署 Doris 集群，需要注意相关权限的内容。

1. 登录 Doris 集群节点，下载或者拷贝安装包到对应的 Doris 集群节点

这里选择的下载方式：

2. 解压 Agent 安装包，并修改安装路径名称

3. 启动 Agent

进去 Agent 安装目录，Agent 目录结构如下所示：

manager-agent
   bin  // 启停脚本
   conf  // 配置文件
   lib  // 服务二进制

启动 Agent：

执行 crontab -e，查看 Agent 进程常驻保活机制是否生效：

4. 回到 Doris Manager 页面，确认 Agent 状态正常

升级 Doris Manager 服务

Doris Manager 24.0.0 版本的 Agent 模式，跟之前的 23.x 系列版本的 SSH 模式并不兼容，所以这里的升级是指直接从 Agent 模式 24.0.0 以后的版本进行升级。升级的具体过程如下：

1. 查看当前版本

点击页面左下角用户信息，可以查看 Doris Manager 当前版本：

2. 下载新版本 Doris Manager 安装包

升级页面会提示目标版本安装包在Doris Manager服务器上的存放路径：

直接登录Doris Manager服务器机器，把新版本的安装包存放进目录。再刷新页面，就可以查看并选择目标版本。

点击升级按钮就可以进入升级页面。

3. 升级Doris Manager

注意：升级时也会重启webserver组件，所以页面会短暂自动退出，请重新登录即可。

卸载 Doris Manager 服务

卸载当前版本 Doris Manager 服务

1. 停止非 webserver 服务组件

找到组件服务的页面，停止该页面出现的所有组件

2. 停止 webserver 服务

• 执行命令去掉 webserver 组件的自动拉起机制，crontab -l | grep -v .doris_manager | crontab -
• 卸载 webserver 服务：进入 manager 部署目录，cd webserver; sh bin/stop.sh
• 删除 Doris Manager Web 服务的相关安装路径

3. 停止每台 Doris 集群节点上的 Agent

• 进入 Agent 安装路径，执行：sh bin/stop.sh 即可
• 删除 Agent 的相关安装路径

卸载 23.x 系列版本 Doris Manager 服务

1. 停止非 webserver 服务组件

找到组件服务页面，手动停止该页面出现的所有组件

2. 停止 webserver 服务

• 执行命令去掉 webserver 组件的自动拉起机制，crontab -l | grep -v .doris_manager | crontab -
• 停止 webserver 服务：进入 manager 部署目录，cd webserver; sh bin/stop.sh