17.00 - move (Teradata Open Distribution for Hadoop) - Teradata Data Mover

Teradata® Data Mover ユーザー ガイド

Product
Teradata Data Mover
Release Number
17.00
Published
2021年11月
Content Type
ユーザー ガイド
Publication ID
B035-4101-030K-JPN
Language
日本語 (日本)

目的

moveコマンドは、指定したデータベース オブジェクトをあるデータベースから別のデータベースにコピーするジョブを作成した後、このジョブを直ちに開始します。 コマンドラインでテーブルを指定することで、XMLオブジェクト リストを使用せずに、ジョブを即座に作成して開始できます。 Data Moverは、Teradata DatabaseからHadoopへのテーブルの移動、およびHadoopからTeradata DatabaseへのHiveテーブルの移動をサポートします。

このセクションのすべてのパラメータはCLIに対して固有です。

パラメータ - Hadoop固有

これらのパラメータは、CLIを使用している場合のHadoopのmoveコマンドに対して固有であり、TeradataからHadoop、HadoopからTeradataへの両方に共通します。

パラメータの順序を参照してください。

hadoop_file_delimiter
(オプション)列の区切り文字を指定します。指定されていない場合、カンマ(',')が区切り文字となります。このオプションが適用されるのは、hadoop_file_optionTextとして指定されている場合のみです。
hadoop_file_option
(オプション)HadoopのTeradataコネクタおよびT2Hでサポートされている値:
  • Text(デフォルト)
  • RC
  • ORC
hadoop_number_mappers
(オプション)TeradataコネクタがTeradata Databaseからデータを取り込む際に使用するMapperの数を指定します。
hadoop_transfer_batch_size
(オプション)batch_inserthadoop_transfer_methodの値として指定した場合は、このパラメータを行数を表わす値(10000、50000など)として指定することもできます。internal_fastloadhadoop_transfer_methodの値として指定した場合は、このプロパティを適用できません。
hadoop_transfer_method
(オプション)HadoopからTeradataにデータを転送するためにTeradataコネクタで使用される方法。
source_hadoop_file_system_url | target_hadoop_file_system_url
これらのパラメータ値で指定された値はhttp://で始まり、その後にシステム名、またはIPアドレス、ポート番号が続く必要があります。ログオン メカニズムがkerberosの場合、ホスト名は完全修飾ドメイン名である必要があります。
説明
http://webhdfs:50070またはhttp://httpfs:14000 TDCHジョブを実行するためにHDFSに格納された構成ファイル、およびHadoopのTeradataコネクタのジョブによって生成されたログを取得します。WebHDFS REST URLまたはHttpFS REST URLを指定します。WebHDFSのデフォルト ポートは50070、HttpFSのデフォルト ポートは14000です。
source_hadoop_oozie_url | target_hadoop_oozie_url
これらのパラメータ値で指定された値はhttp://で始まり、その後にシステム名、またはIPアドレス、ポート番号が続く必要があります。ログオン メカニズムがkerberosの場合、ホスト名は完全修飾ドメイン名である必要があります。
説明
http://oozie:11000 データ移動のためのHiveクエリーとHadoopのTeradataコネクタ(TDCH)ジョブを実行します。URLを構成するには、oozieをOozieサーバーが存在するシステム名と置き換えます。ポート11000がOozieのデフォルトです。
source_hadoop_webhcat_url | target_hadoop_webhcat_url
これらのパラメータ値で指定された値はhttp://で始まり、その後にシステム名、またはIPアドレス、ポート番号が続く必要があります。ログオン メカニズムがkerberosの場合、ホスト名は完全修飾ドメイン名である必要があります。
説明
http://webhcat:50111 データベース、テーブル、列などのメタデータを取得します。URLを構成するには、webhcatをWebHCATサーバーが存在するシステム名と置き換えます。ポート50111がWebHCATのデフォルトです。
source_hive_logon_mechanism | target_hive_logon mechanism
ソースまたはターゲットHadoopファイル システムにログインするためのセキュリティ プロトコル。使用可能な値はdefaultおよびkerberosです。
source_hive_password | target_hive_password
ソースまたはターゲットHadoopファイル システムのテーブルにアクセスできるユーザーのパスワード。
ログオン メカニズムがdefaultの場合、このパラメータはオプションです。ログオン メカニズムがkerberosの場合、このパラメータは必須であり、hive_userのパスワードを指定する必要があります。
source_hive_password_encrypted | target_hive_password encrypted
ソースまたはターゲットHadoopファイル システムのテーブルにアクセスできるユーザーの暗号化されたパスワード。source_hive_password | target_hive_passwordが指定されている場合は、このパラメータは無効です。
ログオン メカニズムがdefaultの場合、このパラメータはオプションです。ログオン メカニズムがkerberosの場合、このパラメータは必須であり、hive_userのパスワードを指定する必要があります。
source_hive_user | target_hive_user
ソースまたはターゲットHadoopファイル システムのテーブルにアクセスできるユーザーの名前。
ログオン メカニズムがkerberosの場合、Hiveユーザーの値は次の表記規則に従う必要があります。 kerberos_principal@kerberos_realm