16.20 - move (Teradata Open Distribution for Hadoop) - Teradata Data Mover

Teradata® Data Mover 用户指南

Product
Teradata Data Mover
Release Number
16.20
Published
2021 年 11 月
Content Type
用户指南
Publication ID
B035-4101-107K-CHS
Language
中文 (简体)

用途

move 命令可创建一个作业来将指定数据库对象从一个数据库复制到另一数据库,然后立即启动该作业。使用此命令可通过在命令行中指定表来快速创建并启动作业,而无需提供 XML 对象列表。 Data Mover 支持将 Teradata Database 中的表移至 Hadoop,以及将 Hadoop 中的 Hive 表移至 Teradata Database。

本节介绍的所有参数都是专用于 CLI 的参数。

参数 - Hadoop 专用

以下是在使用 CLI 时专用于 Hadoop 的 move 命令的参数。这些参数对从 Teradata 到 Hadoop 和从 Hadoop 到 Teradata 的作业都适用。

请参阅参数顺序

hadoop_file_delimiter
[可选] 指定列的字符分隔符。如果未指定,则以逗号 (',') 作为分隔符。仅当指定 hadoop_file_optionText 时,此选项才适用。
hadoop_file_option
[可选] Teradata Connector for Hadoop 和 T2H 所支持的值:
  • Text(缺省)
  • RC
  • ORC
hadoop_number_mappers
[可选] 指定 Teradata 连接器用于从 Teradata Database 提取数据的映射器数量。
hadoop_transfer_batch_size
[可选] 如果指定 batch_insert 作为 hadoop_transfer_method 值,还可以指定此参数作为一个表示行数的值(例如 10000、50000)。指定 internal_fastload 作为 hadoop_transfer_method 值时,此属性不适用。
hadoop_transfer_method
[可选] Teradata 连接器用于将数据从 Hadoop 传输到 Teradata 的方法。
source_hadoop_file_system_url | target_hadoop_file_system_url
为这些参数指定的值必须以 http:// 开头且后跟系统名称或 IP 地址和端口号。如果登录机制为 kerberos,则主机名必须是完全限定的域名。
说明
http://webhdfs:50070 或 http://httpfs:14000 检索存储在 HDFS 中用以执行 TDCH 作业的配置文件以及用于 Hadoop 的 Teradata 连接器作业生成的日志。指定 WebHDFS REST URLHttpFS REST URL。WebHDFS 的缺省端口为 50070。HttpFS 的缺省端口为 14000。
source_hadoop_oozie_url | target_hadoop_oozie_url
为这些参数指定的值必须以 http:// 开头且后跟系统名称或 IP 地址和端口号。如果登录机制为 kerberos,则主机名必须是完全限定的域名。
说明
http://oozie:11000 运行数据移动所需的 Hive 查询以及用于 Hadoop 的 Teradata 连接器 (TDCH) 作业。要构造 URL,请将 oozie 替换为 Oozie 服务器所在的系统名称。11000 是 Oozie 的缺省端口。
source_hadoop_webhcat_url | target_hadoop_webhcat_url
为这些参数指定的值必须以 http:// 开头且后跟系统名称或 IP 地址和端口号。如果登录机制为 kerberos,则主机名必须是完全限定的域名。
说明
http://webhcat:50111 检索元数据,如数据库、表、列等等。要构造 URL,请将 webhcat 替换为 WebHCAT 服务器所在的系统名称。50111 是 WebHCAT 的缺省端口。
source_hive_logon_mechanism | target_hive_logon mechanism
用于登录到源或目标 Hadoop 文件系统的安全协议。可用值为 defaultkerberos
source_hive_password | target_hive_password
有权访问源或目标 Hadoop 文件系统中表的用户的密码。
如果登录机制为 default,此参数是可选的。如果登录机制为 kerberos,此参数是必需的并且必须是 hive_user 的密码。
source_hive_password_encrypted | target_hive_password encrypted
有权访问源或目标 Hadoop 文件系统中表的用户的加密密码。如果指定了source_hive_password | target_hive_password ,则此参数无效。
如果登录机制为 default,此参数是可选的。如果登录机制为 kerberos,此参数是必需的并且必须是 hive_user 的密码。
source_hive_user | target_hive_user
有权访问源或目标 Hadoop 文件系统中表的用户的名称。
当登录机制为 kerberos 时,Hive 用户的值必须遵守以下约定: kerberos_principal@kerberos_realm