SelectDB Cloud
开发指南
生态集成
SeaTunnel SelectDB Sink

SeaTunnel SelectDB Sink

SeaTunnel SelectDB Sink 支持通过 SeaTunnel 将上游的数据写入到SelectDB中。

版本支持

SeaTunnel 2.3.1以上,支持connector-v2中的Flink、Spark以及ST Engine

使用方法

Json写入

sink {
  SelectDBCloud {
    load-url="warehouse_ip:http_port"
    jdbc-url="warehouse_ip:mysql_port"
    cluster-name="Cluster"
    table.identifier="test.test"
    username="admin"
    password="******"
    selectdb.config {
        file.type="json"
    }
  }
}

CSV写入

sink {
  SelectDBCloud {
    load-url="warehouse_ip:http_port"
    jdbc-url="warehouse_ip:mysql_port"
    cluster-name="Cluster"
    table.identifier="test.test"
    username="admin"
    password="******"
    selectdb.config {
        file.type="csv"
        file.column_separator=","
        file.line_delimiter="\n" 
    }
  }
}

配置项

nametypeRequireddefaultvalueDescription
load-urlstringY-SelectDB Cloud warehouse http地址,格式为warehouse_ip:http_port
jdbc-urlstringY-SelectDB Cloud warehouse jdbc地址,格式为warehouse_ip:mysql_port
cluster-namestringY-SelectDB Cloud 集群名称
usernamestringY-SelectDB Cloud 用户名
passwordstringY-SelectDB Cloud 密码
table.identifierstringY-写入的表,例:db.table
selectdb.configmapY-写入属性配置 CSV 写入: selectdb.config { file.type='csv' file.column_separator=',' file.line_delimiter='\n' } JSON 写入: selectdb.config { file.type="json" file.strip_outer_array="false" }
sink.enable-deleteboolNfalse是否开启批量删除功能(仅支持unique表)
sink.buffer-sizeintN10 * 1024 * 1024 (10MB)缓存的最大容量,单位字节,超过会flush到对象存储上,默认10MB,不建议修改。
sink.buffer-countintN10000缓存的最大条数,超过会flush到对象存储上,默认10000,不建议修改。
sink.max-retriesintN3Commit阶段的最大重试次数,默认3次
© 2023 北京飞轮数据科技有限公司 京ICP备2022004029号 | Apache、Apache Doris 以及相关开源项目名称均为 Apache 基金会商标