Teradata Connector for Hadoopの設定

Teradata Studioでは、Hadoopシステム間でデータを転送するためのオプションが提供されています。Smart Loader for Hadoop機能では、HadoopノードにインストールされているTeradata Connector for Hadoop (TDCH)が使用されます。Oozieは、データ転送ワークフローに使用されます。

接続下のhttps://access.teradata.comから、TDCHをHadoopシステムにダウンロードしてインストールします。
Oozie構成スクリプト(configureOozie.sh)をhttps://access.teradata.comからHadoopシステムにダウンロードします。
スクリプトが実行可能になるようにモードを変更します。
chmod +x configureOozie.sh
configureOozie.shを実行して、非表示のWindows文字をファイルから削除します。
dos2unix configureOozie.sh

rootユーザーとして、Hadoopサービスの場所を入力し、configureOozie.shを実行します。

使用法: ./configureOozie.sh nn=nameNodeHost[jt=jobTrackerHost][oozie=oozieHost] [nnPort=nameNodePortNum][jtPort=jobTrackerPortNum][ooziePort=ooziePortNum][webhcatPort=webhcatPortNum] [webhdfsPort=webhdfsPortNum]

パラメータ	定義	値
nameNodeHost	ネームノードのホスト名	必須
jobTrackerHost	ジョブトラッカーのホスト名	省略した場合、nnパラメータ値を使用
oozieHost	Oozieのホスト名	省略した場合、nnパラメータ値を使用
nameNodePortNum	ネームノードのポート番号	省略した場合は8020
jobTrackerPortNum	ジョブトラッカーのポート番号	省略した場合は50300
ooziePortNum	Oozieのポート番号	省略した場合は11000
webhcatPortNum	WebHCatalogのポート番号	省略した場合は50111
webhdfsPortNum	WebHDFSのポート番号	省略した場合は50070

ポート番号は、HDPのデフォルトです。設定されているシステムですべてのサービスが単一システムのデフォルトのポート上でホストされている場合、nnパラメータのみが必要です。

TDCHが予想される場所にない場合、スクリプトは終了し、エラーメッセージが表示されます。その他の場合、スクリプトによりパラメータ値を示すメッセージが表示されます。例:

The following is the specification of the Hadoop services used
by the Oozie workflows: 
{
"Distribution":"HDP",
"DistributionVersion":"3.2.1",
"WebHCatalog":"hostname",
"WebHCatalogPort":50111,
"WebHDFS":"hostname",
"WebHDFSPort":50070,
"JobTracker":"hostname",
"JobTrackerPort":50300,
"NameNode":"hostname",
"NameNodePort":8020,
"Oozie":"hostname",
"OoziePort":11000
}

Teradata Connector for Hadoopの設定 - Teradata Studio

Teradata® Studio™ and Studio™ Express インストールガイド