关于高级作业设置 - Teradata Data Mover

Teradata® Data Mover 用户指南

Product
Teradata Data Mover
Release Number
17.00
Published
2021 年 11 月
Language
中文 (简体)
Last Update
2021-12-03
dita:mapPath
zh-CN/gmn1574692806523.ditamap
dita:ditavalPath
zh-CN/mpm1591127278842.ditaval
dita:id
B035-4101
Product Category
Analytical Ecosystem
您可以从作业设置选项卡选择高级作业保存选项。单击高级可以访问作业性能设置。Data Mover 为这些设置提供了缺省值。
Teradata 系统
对于 Teradata 系统,您可以选择以下高级作业保存选项:
数据流
为 Teradata PT API 作业指定在源数据库和目标数据库之间可以使用的数据流数。对于 DSA 作业,请指定每个数据库节点的流数。所有其他实用程序均使用一个数据流。
源会话
指定在源系统一端每个数据流支持的会话数量。
目标会话
指定在目标系统一端每个数据流支持的会话数量。
每项任务的最大代理数
指定 Data Mover 为使用 Teradata PT API 的作业中的一项任务同时分配的最大代理数量。如果 Data Mover 环境中安装有多个代理,则可以输入一个大于 1 的整数值,以提高作业在复制大量数据时的性能。如果未提供每项任务的最大代理数的值,则 Data Mover 会在运行时动态计算值。
强制实用程序
强制 Data Mover 使用特定 Teradata 实用程序或 API 运算符进行复制作业。Data Mover 将自动为作业选择最适合的实用程序。
源字符集
指定用于与源系统进行通信的会话字符集。
目标字符集
指定用于与目标系统进行通信的会话字符集。
目标组名称
指定要运行 DSA 作业的共享管道目标组,而不是让 Data Mover 自动选择一个。如果指定的目标组不存在,则该作业将失败。
并行构建
指定在使用 DSA 时可同时构建的表和索引的数量。并发构建的最大数目为 5(缺省值)。
Teradata 和 Hadoop 系统
对于从 Teradata 到 Hadoop 和从 Hadoop 到 Teradata,您可以选择以下高级作业保存选项:
强制实用程序
强制 Data Mover 使用特定的实用程序来执行 Hadoop 复制操作。Data Mover 守护程序会使用 SQL-H 来移动表。如果 SQL-H 无法移动表,则使用 Teradata Connector for Hadoop (TDCH) 移动表。
传输方法
Teradata Connector for Hadoop 支持以下选项,用于将数据从 Teradata 传输到 Hadoop。
Teradata 到 Hadoop 的选项 说明
缺省 如果未指定传输方法,缺省情况下,Data Mover 会选择 AMP。
哈希 Hadoop 基础连接器在 Teradata 中从源表检索指定拆分列给定哈希值范围内的行,然后将这些记录写入 HDFS 中的目标文件内。
Hadoop 基础连接器在 Teradata 中从源表检索指定拆分列给定值范围内的行,然后将这些记录写入 HDFS 中的目标文件内。
分区 如果源表不是 PPI 表,则 Hadoop 基础连接器将在源数据库上创建暂存 PPI 表。
Amp Hadoop 基础连接器会在 Teradata 中从源表检索一个或多个 AMP 中的行,然后将这些记录写入 HDFS 中的一个目标文件。只有 Teradata Database 14.10 或更高版本才支持 Amp 选项。
Teradata Connector for Hadoop 支持以下选项,用于将数据从 Hadoop 传输到 Teradata。
Hadoop 到 Teradata 的选项 说明
缺省 Data Mover 会选择 internal_fastload
batch.insert 基础 Hadoop 连接器会通过 JDBC 批处理执行将行插入 NOPI 暂存表。在所有映射器均完成其处理之后,暂存表中的行将通过 Insert-Select SQL 操作插入目标表。如果选择 batch.insert,您还可以指定大小属性。此值为行数(例如,10000、50000 等)。
internal.fastload Hadoop 基础连接器会启动一个数据库 fastload 会话,将各行加载到单个 NOPI 暂存表中。所有数据库 fastload 会话都通过内部协议进行协调。当所有映射器的会话工作完成后,FastLoad 作业即完成,然后会通过 Insert-Select SQL 操作将 NOPI 暂存表中的各行复制到目标表。
映射器数
指定 Teradata 连接器用于从 Teradata Database 提取数据的映射器数量。