SelectDB Cloud
开发指南
生态集成
BitSail SelectDB Sink

BitSail SelectDB Sink

快速介绍

BitSail (opens in a new tab) 是一款基于分布式架构的高性能数据集成引擎,支持多种异构数据源间的数据同步。

版本支持

BitSail 0.1.0 以上,支持SelectDB Sink Connector。

使用方式

SelectDB写连接器参数在job.writer中配置,实际使用时请注意路径前缀。示例:

{
  "job": {
    "writer": {
      "class": "com.bytedance.bitsail.connector.selectdb.sink.SelectdbSink",
      "load_url": "<your selectdb http hosts>",
      "jdbc_url": "<your selectdb mysql hosts>",
      "cluster_name": "<selectdb cluster name>",
      "user": "<user name>",
      "password": "<password>",
      "table_identifier": "<selectdb table identifier, like: test_db.test_selectdb_table>",
      "columns": [
        {
          "index": 0,
          "name": "id",
          "type": "int"
        },
        {
          "index": 1,
          "name": "bigint_type",
          "type": "bigint"
        },
        {
          "index": 2,
          "name": "string_type",
          "type": "varchar"
        },
        {
          "index": 3,
          "name": "double_type",
          "type": "double"
        },
        {
          "index": 4,
          "name": "date_type",
          "type": "date"
        }
      ]
    }
  }
}

配置项

必需参数

参数名称是否必填参数含义
classSelectdb写连接器类型, com.bytedance.bitsail.connector.selectdb.sink.SelectdbSink
load_urlSelectdb上传数据的HTTP URL
jdbc_urlJDBC连接Selectdb的地址
cluster_nameSelectdb cluster 的名称
userSelectdb账户
passwordSelectdb密码
table_identifier要写入Selectdb的库表,例如:test_db.test_select_table

可选参数

参数名称是否必填参数枚举值参数含义
writer_parallelism_num指定Selectdb写并发
sink_flush_interval_msUpsert模式下的flush间隔, 默认5000 ms
sink_max_retries写入的最大重试次数,默认3
sink_buffer_size写入buffer最大值,默认 1048576 bytes (1MB)
sink_buffer_count初始化 buffer 的数量,默认为3
sink_enable_delete是否支持delete事件同步
sink_write_mode目前仅支持BATCH_UPSERT写入模式
stream_load_properties追加在streamload url后的参数,map<string,string>格式
load_contend_typecsv
json
copy-into使用的格式,默认json
csv_field_delimitercsv格式的行内分隔符, 默认逗号 ","
csv_line_delimitercsv格式的行间分隔符, 默认 "\n"
© 2023 北京飞轮数据科技有限公司 京ICP备2022004029号 | Apache、Apache Doris 以及相关开源项目名称均为 Apache 基金会商标