Teradata Studioでは、Hadoopシステム間でデータを転送するためのオプションが提供されています。Smart Loader for Hadoop機能では、HadoopノードにインストールされているTeradata Connector for Hadoop (TDCH)が使用されます。Oozieは、データ転送ワークフローに使用されます。
- 接続下のhttps://access.teradata.comから、TDCHをHadoopシステムにダウンロードしてインストールします。
- Oozie構成スクリプト(configureOozie.sh)をhttps://access.teradata.comからHadoopシステムにダウンロードします。
- スクリプトが実行可能になるようにモードを変更します。chmod +x configureOozie.sh
- configureOozie.shを実行して、非表示のWindows文字をファイルから削除します。dos2unix configureOozie.sh
- rootユーザーとして、Hadoopサービスの場所を入力し、configureOozie.shを実行します。使用法: ./configureOozie.sh nn=nameNodeHost[jt=jobTrackerHost][oozie=oozieHost] [nnPort=nameNodePortNum][jtPort=jobTrackerPortNum][ooziePort=ooziePortNum][webhcatPort=webhcatPortNum] [webhdfsPort=webhdfsPortNum]
パラメータ 定義 値 nameNodeHost ネーム ノードのホスト名 必須 jobTrackerHost ジョブ トラッカーのホスト名 省略した場合、nnパラメータ値を使用 oozieHost Oozieのホスト名 省略した場合、nnパラメータ値を使用 nameNodePortNum ネーム ノードのポート番号 省略した場合は8020 jobTrackerPortNum ジョブ トラッカーのポート番号 省略した場合は50300 ooziePortNum Oozieのポート番号 省略した場合は11000 webhcatPortNum WebHCatalogのポート番号 省略した場合は50111 webhdfsPortNum WebHDFSのポート番号 省略した場合は50070 ポート番号は、HDPのデフォルトです。設定されているシステムですべてのサービスが単一システムのデフォルトのポート上でホストされている場合、nnパラメータのみが必要です。TDCHが予想される場所にない場合、スクリプトは終了し、エラー メッセージが表示されます。その他の場合、スクリプトによりパラメータ値を示すメッセージが表示されます。 例:The following is the specification of the Hadoop services used by the Oozie workflows: { "Distribution":"HDP", "DistributionVersion":"3.2.1", "WebHCatalog":"hostname", "WebHCatalogPort":50111, "WebHDFS":"hostname", "WebHDFSPort":50070, "JobTracker":"hostname", "JobTrackerPort":50300, "NameNode":"hostname", "NameNodePort":8020, "Oozie":"hostname", "OoziePort":11000 }