DataStage 数据抽取核心是通过数据源连接器数据库 / 文件 / 应用以全量 / 增量 / CDC三种策略配合并行分区与 SQL 下推实现高性能抽取是 ETL 流程的第一步。一、支持的数据源与常用 StageDataStage 提供原生连接器覆盖主流数据源1. 数据库最常用关系型Oracle、DB2、SQL Server、MySQL、PostgreSQL数据仓库Teradata、Redshift、Snowflake常用 StageOracle Connector、DB2 Connector、JDBC Connector2. 文件类结构化CSV、TXT、Excel、Parquet、ORC半结构化XML、JSON常用 StageSequential File、Excel Stage、XML Input3. 企业应用与云服务ERPSAP、PeopleSoft云存储S3、HDFS消息队列Kafka、MQ二、三种抽取策略核心1. 全量抽取Full Extract适用小表、维度表、首次加载原理一次性读取整张表 / 文件配置数据库 Stage 中SQLSELECT * FROM TABLE文件 Stage 直接指定路径优点简单、无遗漏缺点大数据量慢、资源消耗高2. 增量抽取Incremental Extract适用大表、事实表、日常同步原理基于时间戳 / 自增 ID / 状态位只抽新增或变更数据实现方式时间戳WHERE update_time last_extract_time最常用自增 IDWHERE id last_max_id状态位WHERE statusNEW优点速度快、资源省缺点需源表有增量字段3. CDC变更数据捕获适用实时 / 近实时同步、零延迟需求原理读取数据库日志如 Oracle Redo Log、MySQL Binlog捕获 INSERT/UPDATE/DELETE工具DataStageCDC Connector、IBM InfoSphere CDC优点实时、低延迟、不依赖源表字段缺点配置复杂、需日志权限三、并行抽取与性能优化1. 分区抽取Partitioning原理大数据量时按字段如日期、区域分区多线程并行读取配置Stage → Partitioning → 选Hash/Range/DB2 Partition示例按order_date按月分区并行抽取各月数据2. SQL 下推Pushdown原理将过滤、聚合等逻辑推到源库执行减少传输数据量IBM Cloud Pak for Data配置Job → Compile → 选Pushdown to Source示例SELECT col1,col2 FROM sales WHERE dt2026-05-22过滤在源库完成3. 关键优化点优先用原生连接器比 JDBC 快 30%增量抽取避免SELECT *只抽需要字段大表务必分区并行度设为CPU 核心数 ±1数据库端建索引时间戳 / ID 字段四、实操步骤以 Oracle 增量抽取为例创建并行 JobDesigner → New → Parallel Job添加 Oracle Connector从 Palette 拖入配置连接主机 / 端口 / 服务名 / 账号密码配置抽取 SQL增量sqlSELECT emp_id, name, salary, update_time FROM employees WHERE update_time TO_DATE(#LAST_TIME#, YYYY-MM-DD HH24:MI:SS)定义变量#LAST_TIME#存储上次抽取时间可从文件 / 参数获取分区设置Partitioning → 选Range→ 按update_time分区添加目标 Stage如 Sequential File连接 Oracle Connector运行与监控编译→运行查看 Log 监控数据量与速度五、常见问题与避坑增量数据丢失确保update_time字段非空、有索引避免跨时区抽取速度慢检查是否分区、是否用原生连接器、SQL 是否下推数据乱码数据库与 DataStage 服务器字符集一致推荐 UTF-8大表内存溢出增加分区数、调整Buffer Size、避免全量抽取六、最佳实践总结小表全量、大表增量、实时用 CDC优先原生连接器 分区 SQL 下推增量字段必建索引变量化管理上次抽取时间定期监控 Job 性能优化分区与并行度
