使用 DataX 的 StarRocks Writer 插件将数据批量导入 StarRocks【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocksDataX 是阿里巴巴开源的离线数据同步框架StarRocks 为其提供了starrockswriter插件使 DataX 支持的各类异构数据源MySQL、Oracle、HDFS、Hive 等都能通过统一的作业配置批量写入 StarRocks。本指南以 DataX-starrocks-writer.md 为主体完整讲解插件安装、作业配置、参数语义、格式控制与时区处理并结合仓库中的 Stream Load 文档与源码级参考帮助你在实际项目中快速搭建「源库 → DataX → StarRocks」的离线同步链路。插件原理与整体数据流StarRocksWriter 插件的作用是把数据写入 StarRocks 的目标表。它并不直接拼装 SQL 逐条 INSERT而是基于 StarRocks 的Stream Load能力将reader读取到的数据在插件内部缓存并批量导入从而获得远高于逐行写入的吞吐性能。整个作业的数据流为source - Reader - DataX channel - Writer - StarRocks其中 Writer 一侧的本质动作是把上游数据按行缓存、组装成 Stream Load 请求CSV 或 JSON 两种载体提交到 StarRocks 的 HTTP 接口完成导入。关于 Stream Load 的底层工作方式可以参考 Load data from a local file system客户端向 FE 发起 HTTP PUT 请求FE 通过轮询机制把请求重定向给某个 BE/CN 作为 CoordinatorCoordinator 按 schema 拆分数据分发给其余 BE/CN加载完成后同步返回结果。DataX 的 Writer 插件正是复用这条成熟的同步导入通道。从工具生态看Load data using tools 将 DataX 定位为与 SMT、CloudCanal、Kettle Connector 并列的第三方加载工具并特别说明 DataX 擅长在关系型数据库、HDFS、Hive 等异构数据源之间做离线同步StarRocks 侧通过 Writer 插件接收数据。安装与插件部署从 StarRocks DataX 的 release 页面下载starrockswriter插件包。从阿里 DataX 官方仓库下载 DataX 完整发行包。将starrockswriter插件放入 DataX 安装目录的datax/plugin/writer/目录下保持目录命名与插件名一致。安装完成后可用如下命令运行一个作业job.json为作业配置文件python datax.py --jvm-Xms6G -Xmx6G --logleveldebug job.json说明--jvm指定 DataX JVM 堆内存参数。离线同步作业在数据量大时容易触发 GC 或 OOM通常建议为作业预留足够的堆内存示例给出 6G。--logleveldebug以 debug 级别输出日志便于观察每个 channel 的读写速率与错误明细排查阶段建议开启生产环境可回退为info。完整作业配置示例以下配置演示了从 MySQL 读取数据并写入 StarRocks 的典型作业。请根据实际环境替换其中的用户名、密码、库表名与地址。{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0 } }, content: [ { reader: { name: mysqlreader, parameter: { username: xxxx, password: xxxx, column: [ k1, k2, v1, v2 ], connection: [ { table: [ table1, table2 ], jdbcUrl: [ jdbc:mysql://127.0.0.1:3306/datax_test1 ] }, { table: [ table3, table4 ], jdbcUrl: [ jdbc:mysql://127.0.0.1:3306/datax_test2 ] } ] } }, writer: { name: starrockswriter, parameter: { username: xxxx, password: xxxx, database: xxxx, table: xxxx, column: [k1, k2, v1, v2], preSql: [], postSql: [], jdbcUrl: jdbc:mysql://172.28.17.100:9030/, loadUrl: [172.28.17.100:8030, 172.28.17.100:8030], loadProps: {} } } } ] } }配置分三大部分setting.speed.channelDataX 并发通道数直接影响导入并发度与对源库的压力。setting.errorLimit错误容忍阈值record与percentage均为 0 表示不允许任何脏数据严格模式。content.reader数据源定义本示例为mysqlreader可一次关联多个连接与多张表。content.writer目标端starrockswriter其中的database、table、column必须与目标 StarRocks 表对齐loadUrl指向 FE 的 Stream Load 端口jdbcUrl用于执行preSql/postSql。starrockswriter 参数详解下表完整列出starrockswriter支持的参数。其中标注「必填」的项缺失时作业将无法启动或运行结果不可预期务必逐一核对。username说明StarRocks 数据库的用户名。是否必填是默认值无该账号需要对目标库表具备导入权限。Stream Load 属于数据导入操作具体权限要求可参考 StreamLoad.md 中的权限检查章节。password说明上述用户名对应的密码。是否必填是默认值无database说明目标 StarRocks 表所在的数据库名。是否必填是默认值无table说明目标 StarRocks 表名。是否必填是默认值无loadUrl说明Stream Load 使用的 StarRocks FE 地址可配置多个 FE形式为fe_ip:fe_http_port。是否必填是默认值无fe_http_port即 FE 的 HTTP 端口默认8030可在 FE 参数 中调整。多 FE 地址可用于负载均衡与故障转移。作业执行机器需要能通过网络访问该端口以及 BE/CN 的be_http_port默认8040否则导入会失败。column说明目标表中需要写入数据的字段列表字段间用逗号分隔。示例column: [id, name, age]。是否必填是默认值无column 配置项必须显式指定不能留空。强烈不建议留空当目标表的列数、列类型等发生变化时留空的作业可能运行出错或失败。同时column中的字段顺序必须与 reader 中的querySQL或column顺序保持一致以保证字段按序映射到目标列。preSql说明写入目标表数据之前执行的标准 SQL 语句如TRUNCATE TABLE或条件删除。是否必填否默认值无postSql说明写入完成后执行的收尾 SQL 语句。是否必填否默认值无jdbcUrl说明目标库的 JDBC 连接信息专门用于执行preSql和postSql。是否必填否默认值无注意示例中该值形如jdbc:mysql://172.28.17.100:9030/指向 FE 的 MySQL 查询端口默认9030。它与loadUrl分工明确loadUrl走 Stream Load 的 HTTP 通道导入数据jdbcUrl走 MySQL 协议执行前后置 SQL。loadProps说明Stream Load 的请求参数具体取值参见 Stream Load 的说明文档。是否必填否默认值无loadProps是控制导入格式与行为的关键入口下一节将详细展开 CSV 分隔符、JSON 格式等常用配置。类型转换与导入格式控制默认情况下写入的数据会被统一转换为字符串以\tTab作为列分隔符、\n作为行分隔符组装成CSV 文件提交给 Stream Load 导入。这与 Stream Load 的默认行为一致在 STREAM LOAD 中column_separator默认值为\trow_delimiter默认值为\n。修改 CSV 分隔符如果数据本身包含 Tab 等字符需要更换分隔符可在loadProps中显式指定loadProps: { column_separator: \\x01, row_delimiter: \\x02 }注意事项来自 Stream Load 底层约束CSV 的列分隔符可以是 UTF-8 字符串逗号、Tab、竖线等长度不超过 50 字节。若数据使用连续非打印字符如\r\n作为列分隔符需以\\x0D0A形式指定。空值在 CSV 中用\N表示a,,b表示第二列为空字符串而非 NULL请根据业务语义正确构造数据。切换为 JSON 格式导入如需以 JSON 格式写入 StarRocks在loadProps中配置loadProps: { format: json, strip_outer_array: true }format: json告知 Stream Load 请求体为 JSON 格式。strip_outer_array: true剥离 JSON 最外层数组结构。在真实业务中写入端的数据往往整体包裹在一对[]中如[ {category : 1, author : 2}, {category : 3, author : 4} ]。该参数为true时系统去掉最外层方括号、将每个内部元素作为一条独立记录加载为false默认值时整个 JSON 数据会被解析成一个数组并按单条记录处理通常不符合批量导入预期因此 JSON 导入建议显式开启该参数。json格式是 writer 以 JSON 形式向 StarRocks 导入数据的方式。此外Stream Load 还支持jsonpaths、json_root、columns等参数做字段映射与转换若有更复杂的 JSON 字段对应需求可参考 STREAM LOAD 的「Column mappings」章节在loadProps中透传。其他常用 loadProps 透传项loadProps是透传给 Stream Load 的 HTTP 请求头集合以下参数按需使用参数默认值说明strict_modefalse是否开启严格模式影响列类型转换失败的过滤策略timeout600秒单个导入作业超时时间取值范围 1~259200max_filter_ratio0允许的最大过滤比例0 表示有脏数据即失败partial_updatefalse是否使用部分列更新Primary Key 表场景timezoneAsia/Shanghai导入作业使用的时区影响strftime、from_unixtime等函数结果同时需要注意 Stream Load 的系统级上限单次导入数据量默认不超过streaming_load_max_mb默认 10 GB超出时建议拆分文件分批导入JSON 请求体默认不能超过 100 MB超出可在loadProps中设置ignore_json_size: true跳过校验可能带来较大内存占用。时区处理如果源库位于其他时区执行datax.py时需要在命令行后追加 JVM 时区参数-Duser.timezonexx示例当 DataX 从 PostgreSQL 导入数据且源库为 UTC 时区时启动参数追加-Duser.timezoneGMT0python datax.py -Duser.timezoneGMT0 --jvm-Xms6G -Xmx6G --logleveldebug job.json该参数控制 DataX JVM 进程内日期时间的解析与格式化基准从而保证源库的时区语义在导入后不被偏移。对于日期时间敏感的字段建议同时结合 Stream Load 的timezone参数默认Asia/Shanghai核对最终落库值是否符合预期。常见问题与使用限制结合 DataX 常见问题 与 Stream Load 的约束使用starrockswriter时需注意以下几点仅支持 INSERT 语义当前starrockswriter没有writemode参数只支持插入追加数据不支持基于 DataX 直接做 UPDATE 模式写入。需要主键去重或更新语义时应在 StarRocks 侧创建 Primary Key 表并通过 Stream Load 的主键模型或partial_update能力配合实现。关键字列处理若同步的列名是 StarRocks 保留关键字如date、select等需要加反引号包裹后再放入column配置。严格保证 column 顺序writer 的column顺序必须与 reader 的字段顺序一致否则会造成列错位、类型转换失败或脏数据。必填项缺失即报错username、password、database、table、loadUrl、column均为必填项配置遗漏时作业无法正常完成导入。网络可达性执行 DataX 的机器必须能访问 FE 的http_port默认8030与 BE/CN 的be_http_port默认8040详见 StreamLoad.md 的「Before you begin」章节。单批大小上限Stream Load 推荐单次导入不超过 10 GB超过时应拆分超大 JSON 对象4 GB会触发解析器错误请在 DataX 侧预先裁剪。小结本文完整梳理了 StarRocksWriter 插件的安装、作业配置与参数语义数据流本质上由「DataX 读取 → 插件缓存 → Stream Load 批量写入」三段组成column与loadUrl是配置的重中之重格式控制集中在loadProps可自由在默认 CSV\t/\n与 JSON配合strip_outer_array之间切换时区一致性则通过 JVM 参数-Duser.timezone保证。掌握以上要点后你可以基于 DataX 的生态 ReaderMySQL、Oracle、HDFS、Hive 等快速搭建稳定、可控的离线同步管道并结合 STREAM LOAD 文档进一步定制列映射、过滤比例与更新模式。【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
使用 DataX 的 StarRocks Writer 插件将数据批量导入 StarRocks
使用 DataX 的 StarRocks Writer 插件将数据批量导入 StarRocks【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocksDataX 是阿里巴巴开源的离线数据同步框架StarRocks 为其提供了starrockswriter插件使 DataX 支持的各类异构数据源MySQL、Oracle、HDFS、Hive 等都能通过统一的作业配置批量写入 StarRocks。本指南以 DataX-starrocks-writer.md 为主体完整讲解插件安装、作业配置、参数语义、格式控制与时区处理并结合仓库中的 Stream Load 文档与源码级参考帮助你在实际项目中快速搭建「源库 → DataX → StarRocks」的离线同步链路。插件原理与整体数据流StarRocksWriter 插件的作用是把数据写入 StarRocks 的目标表。它并不直接拼装 SQL 逐条 INSERT而是基于 StarRocks 的Stream Load能力将reader读取到的数据在插件内部缓存并批量导入从而获得远高于逐行写入的吞吐性能。整个作业的数据流为source - Reader - DataX channel - Writer - StarRocks其中 Writer 一侧的本质动作是把上游数据按行缓存、组装成 Stream Load 请求CSV 或 JSON 两种载体提交到 StarRocks 的 HTTP 接口完成导入。关于 Stream Load 的底层工作方式可以参考 Load data from a local file system客户端向 FE 发起 HTTP PUT 请求FE 通过轮询机制把请求重定向给某个 BE/CN 作为 CoordinatorCoordinator 按 schema 拆分数据分发给其余 BE/CN加载完成后同步返回结果。DataX 的 Writer 插件正是复用这条成熟的同步导入通道。从工具生态看Load data using tools 将 DataX 定位为与 SMT、CloudCanal、Kettle Connector 并列的第三方加载工具并特别说明 DataX 擅长在关系型数据库、HDFS、Hive 等异构数据源之间做离线同步StarRocks 侧通过 Writer 插件接收数据。安装与插件部署从 StarRocks DataX 的 release 页面下载starrockswriter插件包。从阿里 DataX 官方仓库下载 DataX 完整发行包。将starrockswriter插件放入 DataX 安装目录的datax/plugin/writer/目录下保持目录命名与插件名一致。安装完成后可用如下命令运行一个作业job.json为作业配置文件python datax.py --jvm-Xms6G -Xmx6G --logleveldebug job.json说明--jvm指定 DataX JVM 堆内存参数。离线同步作业在数据量大时容易触发 GC 或 OOM通常建议为作业预留足够的堆内存示例给出 6G。--logleveldebug以 debug 级别输出日志便于观察每个 channel 的读写速率与错误明细排查阶段建议开启生产环境可回退为info。完整作业配置示例以下配置演示了从 MySQL 读取数据并写入 StarRocks 的典型作业。请根据实际环境替换其中的用户名、密码、库表名与地址。{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0 } }, content: [ { reader: { name: mysqlreader, parameter: { username: xxxx, password: xxxx, column: [ k1, k2, v1, v2 ], connection: [ { table: [ table1, table2 ], jdbcUrl: [ jdbc:mysql://127.0.0.1:3306/datax_test1 ] }, { table: [ table3, table4 ], jdbcUrl: [ jdbc:mysql://127.0.0.1:3306/datax_test2 ] } ] } }, writer: { name: starrockswriter, parameter: { username: xxxx, password: xxxx, database: xxxx, table: xxxx, column: [k1, k2, v1, v2], preSql: [], postSql: [], jdbcUrl: jdbc:mysql://172.28.17.100:9030/, loadUrl: [172.28.17.100:8030, 172.28.17.100:8030], loadProps: {} } } } ] } }配置分三大部分setting.speed.channelDataX 并发通道数直接影响导入并发度与对源库的压力。setting.errorLimit错误容忍阈值record与percentage均为 0 表示不允许任何脏数据严格模式。content.reader数据源定义本示例为mysqlreader可一次关联多个连接与多张表。content.writer目标端starrockswriter其中的database、table、column必须与目标 StarRocks 表对齐loadUrl指向 FE 的 Stream Load 端口jdbcUrl用于执行preSql/postSql。starrockswriter 参数详解下表完整列出starrockswriter支持的参数。其中标注「必填」的项缺失时作业将无法启动或运行结果不可预期务必逐一核对。username说明StarRocks 数据库的用户名。是否必填是默认值无该账号需要对目标库表具备导入权限。Stream Load 属于数据导入操作具体权限要求可参考 StreamLoad.md 中的权限检查章节。password说明上述用户名对应的密码。是否必填是默认值无database说明目标 StarRocks 表所在的数据库名。是否必填是默认值无table说明目标 StarRocks 表名。是否必填是默认值无loadUrl说明Stream Load 使用的 StarRocks FE 地址可配置多个 FE形式为fe_ip:fe_http_port。是否必填是默认值无fe_http_port即 FE 的 HTTP 端口默认8030可在 FE 参数 中调整。多 FE 地址可用于负载均衡与故障转移。作业执行机器需要能通过网络访问该端口以及 BE/CN 的be_http_port默认8040否则导入会失败。column说明目标表中需要写入数据的字段列表字段间用逗号分隔。示例column: [id, name, age]。是否必填是默认值无column 配置项必须显式指定不能留空。强烈不建议留空当目标表的列数、列类型等发生变化时留空的作业可能运行出错或失败。同时column中的字段顺序必须与 reader 中的querySQL或column顺序保持一致以保证字段按序映射到目标列。preSql说明写入目标表数据之前执行的标准 SQL 语句如TRUNCATE TABLE或条件删除。是否必填否默认值无postSql说明写入完成后执行的收尾 SQL 语句。是否必填否默认值无jdbcUrl说明目标库的 JDBC 连接信息专门用于执行preSql和postSql。是否必填否默认值无注意示例中该值形如jdbc:mysql://172.28.17.100:9030/指向 FE 的 MySQL 查询端口默认9030。它与loadUrl分工明确loadUrl走 Stream Load 的 HTTP 通道导入数据jdbcUrl走 MySQL 协议执行前后置 SQL。loadProps说明Stream Load 的请求参数具体取值参见 Stream Load 的说明文档。是否必填否默认值无loadProps是控制导入格式与行为的关键入口下一节将详细展开 CSV 分隔符、JSON 格式等常用配置。类型转换与导入格式控制默认情况下写入的数据会被统一转换为字符串以\tTab作为列分隔符、\n作为行分隔符组装成CSV 文件提交给 Stream Load 导入。这与 Stream Load 的默认行为一致在 STREAM LOAD 中column_separator默认值为\trow_delimiter默认值为\n。修改 CSV 分隔符如果数据本身包含 Tab 等字符需要更换分隔符可在loadProps中显式指定loadProps: { column_separator: \\x01, row_delimiter: \\x02 }注意事项来自 Stream Load 底层约束CSV 的列分隔符可以是 UTF-8 字符串逗号、Tab、竖线等长度不超过 50 字节。若数据使用连续非打印字符如\r\n作为列分隔符需以\\x0D0A形式指定。空值在 CSV 中用\N表示a,,b表示第二列为空字符串而非 NULL请根据业务语义正确构造数据。切换为 JSON 格式导入如需以 JSON 格式写入 StarRocks在loadProps中配置loadProps: { format: json, strip_outer_array: true }format: json告知 Stream Load 请求体为 JSON 格式。strip_outer_array: true剥离 JSON 最外层数组结构。在真实业务中写入端的数据往往整体包裹在一对[]中如[ {category : 1, author : 2}, {category : 3, author : 4} ]。该参数为true时系统去掉最外层方括号、将每个内部元素作为一条独立记录加载为false默认值时整个 JSON 数据会被解析成一个数组并按单条记录处理通常不符合批量导入预期因此 JSON 导入建议显式开启该参数。json格式是 writer 以 JSON 形式向 StarRocks 导入数据的方式。此外Stream Load 还支持jsonpaths、json_root、columns等参数做字段映射与转换若有更复杂的 JSON 字段对应需求可参考 STREAM LOAD 的「Column mappings」章节在loadProps中透传。其他常用 loadProps 透传项loadProps是透传给 Stream Load 的 HTTP 请求头集合以下参数按需使用参数默认值说明strict_modefalse是否开启严格模式影响列类型转换失败的过滤策略timeout600秒单个导入作业超时时间取值范围 1~259200max_filter_ratio0允许的最大过滤比例0 表示有脏数据即失败partial_updatefalse是否使用部分列更新Primary Key 表场景timezoneAsia/Shanghai导入作业使用的时区影响strftime、from_unixtime等函数结果同时需要注意 Stream Load 的系统级上限单次导入数据量默认不超过streaming_load_max_mb默认 10 GB超出时建议拆分文件分批导入JSON 请求体默认不能超过 100 MB超出可在loadProps中设置ignore_json_size: true跳过校验可能带来较大内存占用。时区处理如果源库位于其他时区执行datax.py时需要在命令行后追加 JVM 时区参数-Duser.timezonexx示例当 DataX 从 PostgreSQL 导入数据且源库为 UTC 时区时启动参数追加-Duser.timezoneGMT0python datax.py -Duser.timezoneGMT0 --jvm-Xms6G -Xmx6G --logleveldebug job.json该参数控制 DataX JVM 进程内日期时间的解析与格式化基准从而保证源库的时区语义在导入后不被偏移。对于日期时间敏感的字段建议同时结合 Stream Load 的timezone参数默认Asia/Shanghai核对最终落库值是否符合预期。常见问题与使用限制结合 DataX 常见问题 与 Stream Load 的约束使用starrockswriter时需注意以下几点仅支持 INSERT 语义当前starrockswriter没有writemode参数只支持插入追加数据不支持基于 DataX 直接做 UPDATE 模式写入。需要主键去重或更新语义时应在 StarRocks 侧创建 Primary Key 表并通过 Stream Load 的主键模型或partial_update能力配合实现。关键字列处理若同步的列名是 StarRocks 保留关键字如date、select等需要加反引号包裹后再放入column配置。严格保证 column 顺序writer 的column顺序必须与 reader 的字段顺序一致否则会造成列错位、类型转换失败或脏数据。必填项缺失即报错username、password、database、table、loadUrl、column均为必填项配置遗漏时作业无法正常完成导入。网络可达性执行 DataX 的机器必须能访问 FE 的http_port默认8030与 BE/CN 的be_http_port默认8040详见 StreamLoad.md 的「Before you begin」章节。单批大小上限Stream Load 推荐单次导入不超过 10 GB超过时应拆分超大 JSON 对象4 GB会触发解析器错误请在 DataX 侧预先裁剪。小结本文完整梳理了 StarRocksWriter 插件的安装、作业配置与参数语义数据流本质上由「DataX 读取 → 插件缓存 → Stream Load 批量写入」三段组成column与loadUrl是配置的重中之重格式控制集中在loadProps可自由在默认 CSV\t/\n与 JSON配合strip_outer_array之间切换时区一致性则通过 JVM 参数-Duser.timezone保证。掌握以上要点后你可以基于 DataX 的生态 ReaderMySQL、Oracle、HDFS、Hive 等快速搭建稳定、可控的离线同步管道并结合 STREAM LOAD 文档进一步定制列映射、过滤比例与更新模式。【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
