Hiveコネクタとリンクのプロパティ - Teradata QueryGrid

Teradata® QueryGrid™ インストールとユーザー ガイド

Product
Teradata QueryGrid
Release Number
2.11
Published
2019年12月
Language
日本語
Last Update
2020-04-13
dita:mapPath
ja-JP/fya1571089961130.ditamap
dita:ditavalPath
ft:empty
dita:id
lfq1484661135852
QueryGridポートレットでのリンクおよび関連付けられるプロパティの作成時に、名前と値のペア(NVP)の構成を作成します。NVPでは次を実行します。
  • ターゲット コネクタ コンポーネントの動作の指定
  • データの変換方法の構成
  • 基本となるリンク データの転送レイヤーの構成
  • イニシエータ コネクタの実行方法の決定

リンクは開始コネクタとターゲット コネクタを含む名前付きの構成です。 リンクとコネクタに同じプロパティが設定されている場合、リンク設定はコネクタ設定を上書きします。

プロパティは、開始コネクタ専用、ターゲット コネクタ専用、または両方に使用可能です。
名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
16.20+ LOBサポート true Teradata Databasesバージョン16.20以降では、HiveのSTRING列とBINARY列はデフォルトでCLOBとBLOBにマップされます。STRING列とBINARY列をそれぞれVARCHARとVARBYTEにマップするには、このオプションの選択を解除します。

Hiveテーブルに多数のSTRING/BINARY列がある場合は、このオプションを無効にします。

lobSupport

ターゲット
認証メカニズム None ターゲット データ ソースで使用される認証メカニズム。

有効な値はNone、Kerberos、およびHS2Onlyです。

これは必須の設定です。

エンタープライズ セキュリティ パッケージ(ESP)を使用している場合のHDInsightクラスタについては、Kerberosを選択します。

  ターゲット
アクティビティ カウントの概数を収集する False ターゲット データ ソースにエクスポートされる行の概数を表示します。

falseに設定すると、アクティビティ数に1が表示されます。trueに設定すると、おおよそのアクティビティ数が返されます。trueに設定されているときにマスター サービスとして同期を実行します。指定しない場合、デフォルトはfalseです。

collectActivityCount

ターゲット
圧縮コーデック システムのデフォルト Hiveテーブルにエクスポートするときに使用する圧縮タイプ。有効な値は、System Default、Deflate、BZip2、Gzip、LZ4、およびSnappyです。

compressionCodec

ターゲット
Confファイル パス /etc/hadoop/conf/,

/etc/hive/conf

core-site.xmlhdfs-site.xmlhive-site.xmlへのパス(カンマ区切りリスト)。

Hiveserver2のhive-site.xmlとLLAPのhive-site.xmlの両方が存在する場合、LLAPのhive-site.xmlの優先順位が高くなり、両方のファイルが存在するが異なる値が含まれている場合はLLAPの方が使用されます。

これは必須の設定です。

  ターゲット
接続のEvict頻度 30分

Evictチェックの頻度。接続オブジェクトのアイドル時間(現在の時刻-最後の使用時間)が接続の最大アイドル時間設定よりも大きい場合、プールからの接続オブジェクトはチェック、終了、および削除されます。

クエリーを同時に実行しているユーザーが複数いる場合は、接続をより頻繁にクリアするためにチェック間隔を短くします。

有効な値は1~1440分です。

  ターゲット
接続の最大アイドル時間 86400秒

接続キャッシュ オブジェクトの最大アイドル時間。この後、オブジェクトは閉じられ、キャッシュから削除されます。このプロパティは、接続オブジェクトのスターベーションにつながる可能性があるシステム上で同時に実行されているユーザーとクエリーが複数ある場合に使用します。

有効な値は1~86400秒です。

  ターゲット
接続のプール サイズ 100

接続プールに格納できる接続オブジェクトの最大数。新しい接続を取得するとき、コネクタはプール内の使用可能な領域を確認します。接続プールに空き領域がない場合、接続は5分後に失敗します。コネクタ構成ごとに接続プールとユーザー名を1つだけ使用できます。

有効な値は1~10000です。

  ターゲット
カスタムJarパス None Hadoop JARファイルに一覧表示されていない.jarファイルで使用するパスを1つ以上指定します。複数のパスを指定する場合は、カンマ区切りリスト形式で入力します。カスタムHadoopライブラリ パスまたはカスタムJARパスで使用するためのHiveコネクタの構成を参照してください。   ターゲット
データベース名 デフォルト ユーザー クエリーで指定されない場合は、コネクタのデータベースの名前。

名前の最大長は255文字です。

  ターゲット
デフォルトのバイナリ サイズ 64000バイト VARBINARY型のデフォルトの切り捨てサイズ。

有効な値は1~2097088000バイトです。

これは、Teradata - Hive間のリンク用にターゲットHiveコネクタによって使用され、開始Teradata DatabaseがQueryGridでBLOBデータ型をサポートしていない場合に適用されます。BLOBのサポートでは、デフォルトのバイナリ サイズは使用されません。

defaultBinarySize

ターゲット
デフォルトの文字列サイズ 32000文字 VARCHAR切り捨てサイズ。

これは、文字列に対してインポートまたはエクスポートされるデータが切り捨てられるサイズです。値はインポートするUnicode文字の最大数を表わし、デフォルトは32000文字です。実際の列サイズより小さい場合、defaultStringSizeで設定されたデフォルト値で文字列を切り捨てます。

有効な値は1~1048544000文字です。

これは、Teradata - Hive間のリンク用にターゲットHiveコネクタによって使用され、開始Teradata DatabaseがQueryGridでCLOBデータ型をサポートしていない場合に適用されます。CLOBのサポートでは、デフォルトの文字列サイズは使用されません。

defaultStringSize

ターゲット
プッシュ ダウンを無効にする False trueに設定すると、ターゲット システムへのすべてのクエリー条件のプッシュダウンを無効にします。

casespecificなど、システム レベル、セッション レベルおよび列レベルの特定のクエリー属性は、文字列の比較結果に影響する場合があります。これらの属性によってターゲット システムに対する不正な行フィルタが実行され、一部のクエリーが不正な結果を返す場合があります。

開始システムの設定がターゲット システムの設定と一致しない状況での条件プッシュダウンによって不正な結果が発生するのを回避するために、ターゲット システムへのすべての条件のプッシュダウンを無効にすることができます。

このプロパティが上書き可として指定されている場合は、セッション レベルでfalseからtrue(プッシュダウンを無効にしていることを示す)にのみ上書きできますが、trueからfalseに変更することはできません。

disablepushdown

イニシエータ
ログを有効にする INFO コネクタまたはリンク プロパティのロギング レベル。ユーザー レベルのログ設定は、QueryGridポートレットの追加または編集リンク ページを介して明示的に設定できます。

この設定は開始コネクタとターゲット コネクタの両方に適用されます。ただし、設定が異なる場合は、リンクの開始コネクタに対するロギング レベルが優先されます。

有効な値はNONE、WARN、INFO、およびDEBUGです。

  イニシエータ、ターゲット
Hadoopライブラリ パス デフォルトのHadoopライブラリ パス HadoopがデフォルトHadoopパスでなく、カスタム インストール パスを使用する場合、またはいずれかのHadoop .jarファイルがデフォルトHadoopライブラリの外部に保存されている場合は、必須です。複数のパスを指定する場合は、カンマ区切りリスト形式で入力します。カスタムHadoopライブラリ パスまたはカスタムJARパスで使用するためのHiveコネクタの構成.

カスタム情報を使用できない場合は、デフォルトのHadoopライブラリ パスが使用されます。

を参照してください。
  ターゲット
Hadoopプロパティ None ユーザー セッションのHadoop環境プロパティを指定します。プロパティはリスト形式で指定します。各プロパティとその値の間には=を使用し(name=value, name=value, name=value)、プロパティ間の区切り文字としてカンマを使用します(カンマの後にはスペースを入れても、入れなくてもかまいません)。

例:

mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=false

Hadoopプロパティが選択されていない場合は、デフォルトのHadoop環境プロパティが使用されます。

hadoopProperties

ターゲット
Hive実行エンジン mr 使用するHive実行エンジン。

有効な値はmr、tez、またはsparkです。

hiveEngine

イニシエータ、ターゲット
Hive Kerberosプリンシパル None x/y@z形式のHiveServer2のプリンシパル。HiveServer2のhive-site.xmlから読み取られるプリンシパルをオーバーライドします。

CDHでKerberosを使用する場合に必要です。

  ターゲット
HiveServer2 HAが有効 False Zookeeper HAオプションをJDBC接続文字列の一部として使用するかどうかを示します。負荷分散のためにZookeeperサーバーに接続する場合はtrueに設定します。

isHS2HAEnabled

ターゲット
Keytab None Kerberos keytabファイルの絶対パス。QueryGridは、ユーザーがユーザー名とパスワードを入力しない場合のみ、このkeytabファイルを認証に使用します。   ターゲット
Knox接続パスワード None Knox接続用のパスワード。

Knoxのみを使用する場合に必要です。

  ターゲット
Knox接続ユーザー名 None Knox接続のユーザー名。

Knoxのみを使用する場合に必要です。

  ターゲット
Knoxコンテキスト パス None HS2のノックス コンテキスト パス(例: gateway/mycluster/hive)

Knoxのみを使用する場合に必要です。

  ターゲット
Knoxゲートウェイ ホスト None Knoxゲートウェイ ホスト。このプロパティの使用は、Knoxが使用されることを示します。   ターゲット
Knoxゲートウェイ ポート 8443 ノックス ゲートウェイ ポート番号。

有効な値は1024~65535。

Knoxのみを使用する場合に必要です。

  ターゲット
Knoxトラスト ストア パス None ノックス ゲートウェイ トラスト ストア パス。

Knoxのみを使用する場合に必要です。

  ターゲット
Knoxトラスト ストア パスワード None ノックス ゲートウェイ トラスト ストア パスワード。

Knoxのみを使用する場合に必要です。

  ターゲット
リンク バッファ数 4 単一チャネルで一度に利用可能な書き込みバッファの最大数。
リンク バッファ カウントは、デフォルトの内部ファブリック プロパティshmDefaultNumMemoryBuffersを上書きします。

有効な値は4~8。

linkBufferCount

イニシエータ、ターゲット
リンク バッファのサイズ 1048576 行の処理とメッセージ交換に割り当てる書き込みバッファの最大サイズ。

有効な値は73728~10485760バイトです。

linkBufferSize

イニシエータ
リンク ハンドシェイクのタイムアウト 30000 リンク チャネル設定でのミリ秒単位のハンドシェイク タイムアウト。

有効な値は60000~86400000です。

  イニシエータ、ターゲット
リンク ハートビートの間隔 3600000 コネクタとファブリック インスタンス間のチャネルのハートビート信号の最大間隔(ミリ秒)で、ヘルス チェック ステータスに使用されます。
この間隔は、リンク ハンドシェイクのタイムアウトよりも大きい必要があります。

有効な値は60000~86400000です。

  イニシエータ、ターゲット
エグゼキュータあたりのコア数 None Hive-on-Sparkのみ。実行プログラムが実行できる同時タスクの数を制御します。値が指定されていない場合は、システムデフォルトが使用されます。

numExecutorCores

イニシエータ、ターゲット
Mapperの数 None データがHiveにエクスポートまたはインポートされるときに使用する並列処理の単位数。これは、クラスタのマッパー(コンテナに相当)の数です。クエリーごとのクラスタあたりの最大並列処理数を定義します。

これは、TargetConnectorからHiveへのエクスポート、またはHiveからTargetConnectorへのインポート(TargetConnectorは任意のタイプのコネクタ)を使用してデータがHiveにエクスポートまたはインポートされるときに適用可能です。

次に、控えめな開始値の例を示します。
  • イニシエータまたはターゲットとしてのHive: Hadoopクラスタ内のデータ ノードの数を3倍します。
実行しているクエリーの動作だけでなく、Hadoopクラスタで利用可能なリソースに基づいてこれらの数を大幅に増やすことを考慮します。Hive オンスパークの場合、値が指定されていない場合はシステムデフォルトが使用されます。

numMappers

イニシエータ、ターゲット
パスワード None ユーザー パスワード。

最大長は255文字です。

KerberosまたはHS2専用セキュリティを使用する場合にのみ使用。

  ターゲット
ポート 10000 Hiveserver 2の有効な値は1026~65535です。   ターゲット
キュー名 None MR、Tez、またはSparkジョブを実行依頼するキューの名前。

queueName

イニシエータ、ターゲット
読み取りのタイムアウト 3600000 データ メッセージのインポート時にデータ パケット間で読み取りを待つミリ秒数。

有効な値は300000~86400000です。

readTimeout

イニシエータ、ターゲット
応答のタイムアウト 86400000 すべてのデータが転送されたとき、最後のデータ実行の応答を待機するミリ秒数。

有効な値は1800000~172800000です。

responseTimeout

イニシエータ、ターゲット
ロール サポート False ターゲット システムのユーザー ロールのサポートを有効にします。

trueに設定すると、ロール マッピングがある場合はそのマッピングに基づいて、イニシエータまたはターゲットからのユーザー ロールがターゲット システムに適用されます。クラスタがロールをサポートするように構成されている場合は、エラーがユーザーに返されます。クラスタがロールをサポートするように構成されていない場合、ユーザー ロールは適用されません。

falseに設定すると、ロールはターゲット システムに適用されません。

roleSupport

ターゲット
サーバー None JDBC接続文字列の一部としてターゲット データベースへの接続に使用されます。これはターゲット ホストのIPアドレスまたはDNS名です。   ターゲット
スプール ファイル パス /var/opt/teradata/tdqg/fabric/data/ Hiveタスクの再試行をサポートするためにファブリックが有効になっている場合に、スプール ファイルに使用するローカル パス。
カスタム パスが指定されている場合、指定されたディレクトリがQueryGridクラスタで設定したすべてのHadoopデータ ノードに存在する必要があります。querygrid OSグループおよびtdqg OSユーザーのファイルおよびサブディレクトリを作成、読み取り、および書き込みするには、ディレクトリに読み取り、書き込み、および実行のアクセス許可が必要です。
  両方
SSLトラストストアのパスワード None hiveserver2でSSLが有効な場合は、SSLトラストストア パスワードを指定します。   ターゲット
SSLトラストストアのパス None SSLが有効な状態でhiveserver2に接続するときのトラストストア ファイル パスを指定します。
  • このSSLトラストストア パスが設定されず、Javaにトラストストア パスが設定されていない場合、Hiveコネクタはhive-site.xmlのキーストアパスとパスワードを使用しようとします。
  • CDHのSSLでは、このNVPが設定されているか、トラストストア情報がJavaで設定されている必要があります。
  ターゲット
Hiveタスクの再試行をサポート False trueに設定すると、Hiveタスクの再試行をサポートするためにファブリックが有効になります。有効にした場合、Hiveタスクが再試行されると、ファブリックはクエリーで失敗しません。代わりに、失敗したタスクの試行から受信したデータを破棄し、再試行された試行からタスク データの処理を続行します。
この機能は、Hiveがデータ ソースであり、Hiveがターゲットとしてデータをインポートしている場合かHiveがデータをイニシエータとしてエクスポートしている場合、および実行エンジンがmrまたはtezの場合にのみサポートされます。
  両方
一時データベース名 Default 一時テーブルとビューを格納するための一時データベース名。

tempDbName

ターゲット
ユーザー名 hive ユーザーの名前。コネクタまたはターゲット コネクタのリンク用に追加されたユーザー名は、許可されているOSユーザーに含める必要があります。

最大長は255文字です。

このNVPはTeradata QueryGridマネージャ構成で保存され、イニシエータがユーザー信頼証明を提供するメカニズムをサポートしない場合に必要です。ユーザー名は接続診断チェックにも使用されます。

  ターゲット
書き込みのタイムアウト 3600000 データ メッセージのエクスポート時にデータ パケット間で書き込みを待つミリ秒数。

有効な値は300000~86400000です。

writeTimeout

イニシエータ、ターゲット