Hadoopのファイルとテーブルを処理する場合の考慮事項 - Parallel Transporter

Teradata® Parallel Transporter リファレンス

Product
Parallel Transporter
Release Number
16.20
Published
2018年10月
Language
日本語
Last Update
2019-02-12
dita:mapPath
ja-JP/whl1527114222314.ditamap
dita:ditavalPath
ja-JP/whl1527114222314.ditaval
dita:id
B035-2436
Product Category
Teradata Tools and Utilities
  • HDFS APIインターフェースを使用する場合、HadoopHost値は、Hadoopクラスタのネームノードを参照している必要があります。
  • TDCH-TPTインターフェースを使用する場合、HadoopHost値は、TPTを実行しているノードのホスト名またはIPアドレスを参照している必要があります。 このホスト名またはIPアドレスは、Hadoopクラスタのすべてのデータノードから到達可能である必要があります。
  • HDFS APIインターフェースとTDCH-TPTインターフェースの両方とも、TPTを実行しているノードにHadoopクライアントJARをインストールしておく必要があり、HDFS APIはHadoopクラスタ構成ファイルのコピーも必要とします。
  • HDFS APIインターフェースを使用する場合、HadoopクライアントJARのバージョンは、HadoopHost属性で定義されているHadoopクラスタのネームノードのHadoop JARのバージョンと一致する必要があります。
  • HDFS APIでは、以下の環境変数を設定する必要があります。
    • JAVA_HOME = Java JDKのルートの場所
      HDFS APIはJAVA JNIを使用します。
      Java 32ビットまたは64ビットのバージョンは、TPT 32ビットまたは64ビットのバージョンと一致する必要があります。
    • HADOOP_HOME = HadoopクライアントJARファイルおよびHadoop構成ファイルのルートの場所
  • HDFS APIでは、以下の任意の環境変数を使用できます。
    • LIBHDFS_OPTS = JVMに渡す追加のオプション
    • LIBHDFS_JVM_PATH = jvm.dll (jvm.so)のフルパス。

      LIBHDFS_JVM_PATHが指定されていない場合は、JAVA_HOMEを使用してjvm.dllを検索します。

    • LIBHDFS_CLASSPATH = jni jvmのクラスパス。

      • LIBHDFS_CLASSPATHは、CLASSPATHよりも優先されます。

      • CLASSPATHとLIBHDFS_CLASSPATHが両方とも指定されていない場合、HADOOP_HOMEまたはHADOOP_PREFIXを使用してCLASSPATHが作成されます。

      • CLASSPATHまたはLIBHDFS_CLASSPATHに、JNI(例: “*")と互換性のない構文が含まれている場合、それらは破棄され、HADOOP_HOMEまたはHADOOP_PREFIXを使用してクラスパスが作成されます。

    • CLASSPATH = jni jvmのクラスパス。注: {通常これはJNI用に正しく設定されないため、使用することは賢明ではない}。
    • JAVA_LIBRARY_PATH = Javaのネイティブ メソッドをサポートするための、hadoop.dllのパス。
  • TDCH-TPTインターフェースを使用する場合は、以下の環境変数を定義する必要があります。TDCHジョブを起動する前に、TDCH-TPTインターフェースは環境変数が設定されているかどうかを確認し、設定されていない場合は、TDCH-TPTインターフェースが下記に定義されているデフォルト値とともに環境変数をエクスポートします。TDCHに必要な環境の詳細については、Teradata Connector for Hadoopチュートリアルを参照してください。
    • HADOOP_HOME - Hadoopライブラリの場所。この値のデフォルトは'/usr/lib/hadoop'です。
    • HIVE_HOME - Hiveライブラリの場所。この値のデフォルトは'/usr/lib/hive'です。
    • HCAT_HOME - HCatalogライブラリの場所。この値のデフォルトは'/usr/lib/hcatalog'です。
    • HIVE_LIB_JARS - TDCHが必要とするJARファイルのカンマ区切りのリスト。これが設定されていない場合、TDCH-TPTインターフェースは、$HCAT_HOME/libおよび$HIVE_HOME/libで見つかったJARを使用してこのリストを構築します。
    • HADOOP_CLASSPATH - TDCHが必要とするJARファイルとディレクトリの、セミコロン区切りのリスト。これが設定されていない場合、TDCH-TPTインターフェースは、$HCAT_HOME/lib、$HIVE_HOME/lib、および$HIVE_HOME/confで見つかったJARを使用してこのリストを構築します。