2.16 - Hiveコネクタとリンクのプロパティ - Teradata QueryGrid

Teradata® QueryGrid™ インストールとユーザー ガイド

Product
Teradata QueryGrid
Release Number
2.16
Release Date
2021年6月
Content Type
インストール
ユーザー ガイド
構成
管理
Publication ID
B035-5991-061K-JPN
Language
日本語 (日本)
QueryGridポートレットでのリンクおよび関連付けられるプロパティの作成時に、名前と値のペア(NVP)の構成を作成します。NVPでは次を実行します。
  • ターゲット コネクタ コンポーネントの動作の指定
  • データの変換方法の構成
  • 基本となるリンク データの転送レイヤーの構成
  • イニシエータ コネクタの実行方法の決定

リンクは開始コネクタとターゲット コネクタを含む名前付きの構成です。 リンクとコネクタに同じプロパティが設定されている場合、リンク設定はコネクタ設定を上書きします。

プロパティは、開始コネクタ専用、ターゲット コネクタ専用、または両方に使用可能です。

基本タブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
サーバー None JDBC接続文字列の一部としてターゲット データベースへの接続に使用されます。これはターゲット ホストのIPアドレスまたはDNS名です。   ターゲット
ポート 10000 Hiveserver 2の有効な値は1026~65535です。   ターゲット
データベース名 デフォルト ユーザー クエリーで指定されない場合は、コネクタのデータベースの名前。

名前の最大長は255文字です。

  ターゲット
Confファイル パス /etc/hadoop/conf/,

/etc/hive/conf/

core-site.xmlおよびhive-site.xmlへのパス(カンマ区切りリスト)。

Hiveserver2のhive-site.xmlとLLAPのhive-site.xmlの両方が存在する場合、LLAPのhive-site.xmlの優先順位が高くなり、両方のファイルが存在するが異なる値が含まれている場合はLLAPの方が使用されます。

これは必須の設定です。

  ターゲット

セキュリティタブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
認証メカニズム None ターゲット データ ソースで使用される認証メカニズム。

有効な値はNone、Kerberos、Trusted Kerberos、Kerberos SSO、HS2Onlyです。

これは必須の設定です。

エンタープライズ セキュリティ パッケージ(ESP)を使用している場合のHDInsightクラスタについては、Kerberosを選択します。

  ターゲット
ユーザー名 Hive ユーザーの名前。コネクタまたはターゲット コネクタのリンク用に追加されたユーザー名は、許可されているOSユーザーに含める必要があります。

最大長は255文字です。

このNVPはTeradata QueryGridマネージャ構成で保存され、イニシエータがユーザー信頼証明を提供するメカニズムをサポートしない場合に必要です。ユーザー名は接続診断チェックにも使用されます。

  ターゲット
パスワード None ユーザー パスワード。

最大長は255文字です。

Kerberos、Trusted Kerberos、またはHS2専用セキュリティを使用する場合にのみ使用します。

  ターゲット
Keytab None Kerberos keytabファイルの絶対パス。QueryGridは、ユーザーがユーザー名とパスワードを入力しない場合のみ、このkeytabファイルを認証に使用します。   ターゲット
Hive Kerberosプリンシパル None x/y@z形式のHiveServer2のプリンシパル。HiveServer2のhive-site.xmlから読み取られるプリンシパルをオーバーライドします。

CDHまたはCDPでKerberosを使用する場合に必要です。

  ターゲット
ロール サポート False ターゲット システムのユーザー ロールのサポートを有効にします。

trueに設定すると、ロール マッピングがある場合はそのマッピングに基づいて、イニシエータまたはターゲットからのユーザー ロールがターゲット システムに適用されます。クラスタがロールをサポートするように構成されている場合は、エラーがユーザーに返されます。クラスタがロールをサポートするように構成されていない場合、ユーザー ロールは適用されません。

falseに設定すると、ロールはターゲット システムに適用されません。

roleSupport

ターゲット
Knoxゲートウェイ ホスト None Knoxゲートウェイ ホスト。このプロパティを使用することで、Knoxを使用していることを示します。   ターゲット
Knoxゲートウェイ ポート 8443 ノックス ゲートウェイ ポート番号。

有効な値は1024~65535。

Knoxのみを使用する場合に必要です。

  ターゲット
Knoxコンテキスト パス gateway/default/hive HS2のノックス コンテキスト パス(例: gateway/mycluster/hive)

Knoxのみを使用する場合に必要です。

  ターゲット
Knoxトラスト ストア パス None ノックス ゲートウェイ トラスト ストア パス。

Knoxのみを使用する場合に必要です。

  ターゲット
Knoxトラスト ストア パスワード None ノックス ゲートウェイ トラスト ストア パスワード。

Knoxのみを使用する場合に必要です。

  ターゲット
Knox接続ユーザー名 None Knox接続のユーザー名。

Knoxのみを使用する場合に必要です。

  ターゲット
Knox接続パスワード None Knox接続用のパスワード。

Knoxのみを使用する場合に必要です。

  ターゲット
SSLトラストストアのパス None SSLが有効な状態でhiveserver2に接続するときのトラストストア ファイル パスを指定します。
  • このSSLトラストストア パスが設定されず、Javaにトラストストア パスが設定されていない場合、Hiveコネクタはhive-site.xmlのキーストアパスとパスワードを使用しようとします。
  • CDHまたはCDPのSSLでは、このNVPが設定されているか、トラストストア情報がJavaで設定されている必要があります。
  ターゲット
SSLトラストストアのパスワード None hiveserver2でSSLが有効な場合は、SSLトラストストア パスワードを指定します。   ターゲット

クエリー エンジンタブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
Hive実行エンジン mr 使用するHive実行エンジン。

使用可能な値は、mr、tez、またはsparkです。すべてのHive実装ですべての値がサポートされているわけではありません。

hiveEngine

イニシエータ、ターゲット
Mapperの数 3 * データノード数 クラスタ上のマッパーの数(コンテナに相当)。クエリーごとにクラスタあたりの最大並列処理を定義します。

これが適用されるのは、Teradata-to-Hiveエクスポートを使用してデータをHiveにエクスポートする場合、またはHive-to-Teradataインポートを使用してHiveにデータをインポートする場合です。

次に、控えめな開始値の例を示します。
  • Hadoopクラスタ内のデータ ノードの数に3を掛けた数。
実行しているクエリーの動作だけでなく、Hadoopクラスタで利用可能なリソースに基づいてこれらの数を大幅に増やすことを考慮します。Hive-on-Sparkの場合、値が指定されていない場合はシステム デフォルトが使用されます。

numMappers

イニシエータ、ターゲット
キュー名 None MR、Tez、またはSparkジョブを実行依頼するキューの名前。

queueName

イニシエータ、ターゲット
HiveServer2 HAが有効 False Zookeeper HAオプションをJDBC接続文字列の一部として使用するかどうかを示します。負荷分散のためにZookeeperサーバーに接続する場合はtrueに設定します。

isHS2HAEnabled

ターゲット
Hadoopライブラリ パス デフォルトのHadoopライブラリ パス HadoopがデフォルトHadoopパスでなく、カスタム インストール パスを使用する場合、またはいずれかのHadoop .jarファイルがデフォルトHadoopライブラリの外部に保存されている場合は、必須です。複数のパスを指定する場合は、カンマ区切りリスト形式で入力します。カスタムHadoopライブラリ パスまたはカスタムJARパスで使用するためのHiveコネクタの構成.

カスタム情報を使用できない場合は、デフォルトのHadoopライブラリ パスが使用されます。

を参照してください。
  ターゲット
カスタムJarパス None Hadoop JARファイルに一覧表示されていない.jarファイルで使用するパスを1つ以上指定します。複数のパスを指定する場合は、カンマ区切りリスト形式で入力します。カスタムHadoopライブラリ パスまたはカスタムJARパスで使用するためのHiveコネクタの構成を参照してください。   ターゲット
Hadoopプロパティ None ユーザー セッションのHadoop環境プロパティを指定します。プロパティはリスト形式で指定します。各プロパティとその値の間には=を使用し(name=value, name=value, name=value)、プロパティ間の区切り文字としてカンマを使用します(カンマの後にはスペースを入れても、入れなくてもかまいません)。

例:

mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=false

Hadoopプロパティが選択されていない場合は、デフォルトのHadoop環境プロパティが使用されます。

hadoopProperties

ターゲット
圧縮コーデック システムのデフォルト Hiveテーブルにエクスポートするときに使用する圧縮タイプ。有効な値は、System Default、Deflate、BZip2、Gzip、LZ4、およびSnappyです。

compressionCodec

ターゲット
エグゼキュータあたりのコア数 None Hive-on-Sparkのみ。実行プログラムが実行できる同時タスクの数を制御します。値が指定されていない場合は、システムデフォルトが使用されます。

numExecutorCores

イニシエータ、ターゲット

詳細タブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
一時データベース名 Default 一時テーブルとビューを格納するための一時データベース名。

tempDbName

ターゲット
ログを有効にする INFO コネクタまたはリンク プロパティのロギング レベル。ユーザー レベルのログ設定は、QueryGridポートレットの追加または編集リンク ページを介して明示的に設定できます。

この設定は開始コネクタとターゲット コネクタの両方に適用されます。ただし、コネクタの設定が異なる場合は、リンクの開始コネクタに対するロギング レベルが優先されます。

有効な値はNONE、WARN、INFO、およびDEBUGです。

  イニシエータ、ターゲット
16.20+ LOBサポート True Teradataシステム バージョン16.20以降では、HiveのSTRING列とBINARY列はデフォルトでCLOBとBLOBにマップされます。STRING列とBINARY列をそれぞれVARCHARとVARBYTEにマップするには、このオプションの選択を解除します。

Hiveテーブルに多数のSTRING/BINARY列がある場合は、このオプションを無効にします。

lobSupport

ターゲット
デフォルトの文字列サイズ 32000文字 VARCHAR切り捨てサイズ。

これは、文字列に対してインポートまたはエクスポートされるデータが切り捨てられるサイズです。値はインポートするUnicode文字の最大数を表わし、デフォルトは32000文字です。実際の列サイズより小さい場合、Teradata QueryGriddefaultStringSizeで設定されたデフォルト値で文字列を切り捨てます。

有効な値は1~1048544000文字です。

これは、Teradata - Hive間のリンク用にターゲットHiveコネクタによって使用され、開始TeradataシステムがQueryGridでCLOBデータ型をサポートしていない場合に適用されます。CLOBのサポートでは、デフォルトの文字列サイズは使用されません。

defaultStringSize

ターゲット
デフォルトのバイナリ サイズ 64000バイト VARBINARY型のデフォルトの切り捨てサイズ。

有効な値は1~2097088000バイトです。

これは、Teradata - Hive間のリンク用にターゲットHiveコネクタによって使用され、開始TeradataシステムがQueryGridでBLOBデータ型をサポートしていない場合に適用されます。BLOBのサポートでは、デフォルトのバイナリ サイズは使用されません。

defaultBinarySize

ターゲット
プッシュ ダウンを無効にする False trueに設定すると、ターゲット システムへのすべてのクエリー条件のプッシュダウンを無効にします。

casespecificなど、システム レベル、セッション レベルおよび列レベルの特定のクエリー属性は、文字列の比較結果に影響する場合があります。これらの属性によってターゲット システムに対する不正な行フィルタが実行され、一部のクエリーが不正な結果を返す場合があります。

開始システムの設定がターゲット システムの設定と一致しない状況での条件プッシュダウンによって不正な結果が発生するのを回避するために、ターゲット システムへのすべての条件のプッシュダウンを無効にすることができます。

このプロパティが上書き可として指定されている場合は、セッション レベルでfalseからtrue(プッシュダウンを無効にしていることを示す)にのみ上書きできますが、trueからfalseに変更することはできません。

disablepushdown

イニシエータ
アクティビティ カウントの概数を収集する False ターゲット データ ソースにエクスポートされる行の概数を表示します。

falseに設定すると、アクティビティ数に1が表示されます。trueに設定すると、おおよそのアクティビティ数が返されます。trueに設定されているときにマスター サービスとして同期を実行します。指定しない場合、デフォルトはfalseです。

collectActivityCount

ターゲット
Hiveタスクの再試行をサポート False trueに設定すると、Hiveタスクの再試行をサポートするためにファブリックが有効になります。有効にした場合、Hiveタスクが再試行されると、ファブリックはクエリーで失敗しません。代わりに、ファブリックは失敗したタスクの試行から受信したデータを破棄し、再試行された試行からタスク データの処理を続行します。
この機能は、Hiveがデータ ソースであり、Hiveがターゲットとしてデータをインポートしている場合かHiveがデータをイニシエータとしてエクスポートしている場合、および実行エンジンがmrまたはtezの場合にのみサポートされます。
  イニシエータ、ターゲット
スプール ファイル パス /var/opt/teradata/tdqg/fabric/data/ Hiveタスクの再試行をサポートするためにファブリックが有効になっている場合に、スプール ファイルに使用するローカル パス。
カスタム パスが指定されている場合、指定されたディレクトリがQueryGridクラスタで設定したすべてのHadoopデータ ノードに存在する必要があります。querygrid OSグループおよびtdqg OSユーザーのファイルおよびサブディレクトリを作成、読み取り、および書き込みするには、ディレクトリに読み取り、書き込み、および実行のアクセス許可が必要です。
  イニシエータ、ターゲット
リンク バッファ数 4 単一チャネルで一度に利用可能な書き込みバッファの最大数。
リンク バッファ カウントは、デフォルトの内部ファブリック プロパティshmDefaultNumMemoryBuffersを上書きします。

有効な値は4~8。

linkBufferCount

イニシエータ、ターゲット
リンク バッファのサイズ 1048576 行の処理とメッセージ交換に割り当てる書き込みバッファの最大サイズ。

有効な値は73728~10485760バイトです。

linkBufferSize

イニシエータ
応答のタイムアウト 86400000 タイムアウトと動作停止の前にターゲット クエリーの完了まで待機するミリ秒数。ファブリックは、ターゲット リンク プロパティまたはターゲット コネクタ プロパティで設定された値を超える期間を持つクエリーに関連付けられたすべてのリソースを停止し解放します。コネクタは、ファブリックからの応答数がコネクタの応答タイムアウト値を超えると、タイムアウトします。

有効な値は300000~172800000です。

responseTimeout

イニシエータ、ターゲット
接続の最大アイドル時間 86400秒 接続キャッシュ オブジェクトの最大アイドル時間。この後、オブジェクトは閉じられ、キャッシュから削除されます。このプロパティは、接続オブジェクトのスターベーションにつながる可能性があるシステム上で同時に実行されているユーザーとクエリーが複数ある場合に使用します。

有効な値は1~86400秒です。

  ターゲット
接続のプール サイズ 100 接続プールに格納できる接続オブジェクトの最大数。新しい接続を取得するとき、コネクタはプール内の使用可能な領域を確認します。接続プールに空き領域がない場合、接続は5分後に失敗します。コネクタ構成ごとに接続プールとユーザー名を1つだけ使用できます。

有効な値は1~10000です。

  ターゲット
接続のEvict頻度 30分 Evictチェックの頻度。接続オブジェクトのアイドル時間(現在の時刻-最後の使用時間)が接続の最大アイドル時間設定よりも大きい場合、プールからの接続オブジェクトはチェック、終了、および削除されます。

クエリーを同時に実行しているユーザーが複数いる場合は、接続をより頻繁にクリアするためにチェック間隔を短くします。

有効な値は1~1440分です。

  ターゲット