start (Teradata Open Distribution for Hadoop) - Teradata Data Mover

Teradata® Data Mover 用户指南

Product
Teradata Data Mover
Release Number
17.00
Published
2021 年 11 月
Language
中文 (简体)
Last Update
2021-12-03
dita:mapPath
zh-CN/gmn1574692806523.ditamap
dita:ditavalPath
zh-CN/mpm1591127278842.ditaval
dita:id
B035-4101
Product Category
Analytical Ecosystem

用途

start 命令可启动使用 create 命令创建的作业。 运行时,您可以通过在命令行中输入作业变量值,指定与初始使用的值不同的作业变量值。 如果守护程序没有充足的资源来立即运行作业,作业将入队等待。

本节介绍的所有参数都是专用于 CLI 的参数。

参数 - Hadoop 专用

以下是在使用 CLI 时专用于 Hadoop 的 start 命令的参数。这些参数对从 Teradata 到 Hadoop 和从 Hadoop 到 Teradata 的作业都适用。

请参阅参数顺序

hadoop_file_delimiter
[可选] 指定列的字符分隔符。如果未指定,则以逗号 (',') 作为分隔符。仅当指定 hadoop_file_optionText 时,此选项才适用。
hadoop_file_option
[可选] Teradata Connector for Hadoop 和 T2H 所支持的值:
  • Text(缺省)
  • RC
  • ORC
hadoop_number_mappers
[可选] 指定 Teradata 连接器用于从 Teradata Database 提取数据的映射器数量。
hadoop_transfer_batch_size
[可选] 如果指定 batch_insert 作为 hadoop_transfer_method 值,还可以指定此参数作为一个表示行数的值(例如 10000、50000)。指定 internal_fastload 作为 hadoop_transfer_method 值时,此属性不适用。
hadoop_transfer_method
[可选] Teradata 连接器用于将数据从 Hadoop 传输到 Teradata 的方法。
source_hadoop_file_system_url | target_hadoop_file_system_url
为这些参数指定的值必须以 http:// 开头且后跟系统名称或 IP 地址和端口号。如果登录机制为 kerberos,则主机名必须是完全限定的域名。
说明
http://webhdfs:50070 或 http://httpfs:14000 检索存储在 HDFS 中用以执行 TDCH 作业的配置文件以及用于 Hadoop 的 Teradata 连接器作业生成的日志。指定 WebHDFS REST URLHttpFS REST URL。WebHDFS 的缺省端口为 50070。HttpFS 的缺省端口为 14000。
source_hadoop_oozie_url | target_hadoop_oozie_url
为这些参数指定的值必须以 http:// 开头且后跟系统名称或 IP 地址和端口号。如果登录机制为 kerberos,则主机名必须是完全限定的域名。
说明
http://oozie:11000 运行数据移动所需的 Hive 查询以及用于 Hadoop 的 Teradata 连接器 (TDCH) 作业。要构造 URL,请将 oozie 替换为 Oozie 服务器所在的系统名称。11000 是 Oozie 的缺省端口。
source_hadoop_webhcat_url | target_hadoop_webhcat_url
为这些参数指定的值必须以 http:// 开头且后跟系统名称或 IP 地址和端口号。如果登录机制为 kerberos,则主机名必须是完全限定的域名。
说明
http://webhcat:50111 检索元数据,如数据库、表、列等等。要构造 URL,请将 webhcat 替换为 WebHCAT 服务器所在的系统名称。50111 是 WebHCAT 的缺省端口。
source_hive_logon_mechanism | target_hive_logon mechanism
用于登录到源或目标 Hadoop 文件系统的安全协议。可用值为 defaultkerberos
source_hive_password | target_hive_password
有权访问源或目标 Hadoop 文件系统中表的用户的密码。
如果登录机制为 default,此参数是可选的。如果登录机制为 kerberos,此参数是必需的并且必须是 hive_user 的密码。
source_hive_password_encrypted | target_hive_password encrypted
有权访问源或目标 Hadoop 文件系统中表的用户的加密密码。如果指定了source_hive_password | target_hive_password ,则此参数无效。
如果登录机制为 default,此参数是可选的。如果登录机制为 kerberos,此参数是必需的并且必须是 hive_user 的密码。
source_hive_user | target_hive_user
有权访问源或目标 Hadoop 文件系统中表的用户的名称。
当登录机制为 kerberos 时,Hive 用户的值必须遵守以下约定: kerberos_principal@kerberos_realm