2.16 - Spark SQLコネクタとリンクのプロパティ - Teradata QueryGrid

Teradata® QueryGrid™ インストールとユーザー ガイド

Product
Teradata QueryGrid
Release Number
2.16
Release Date
2021年6月
Content Type
インストール
ユーザー ガイド
構成
管理
Publication ID
B035-5991-061K-JPN
Language
日本語 (日本)
QueryGridポートレットでのリンクおよび関連付けられるプロパティの作成時に、名前と値のペア(NVP)の構成を作成します。NVPでは次を実行します。
  • ターゲット コネクタ コンポーネントの動作の指定
  • データの変換方法の構成
  • 基本となるリンク データの転送レイヤーの構成
  • イニシエータ コネクタの実行方法の決定

リンクは開始コネクタとターゲット コネクタを含む名前付きの構成です。 リンクとコネクタに同じプロパティが設定されている場合、リンク設定はコネクタ設定を上書きします。

プロパティは、開始コネクタ専用、ターゲット コネクタ専用、または両方に使用可能です。

Basic(基本)タブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
サーバー None JDBC接続文字列の一部としてターゲット データベースへの接続に使用されます。これはターゲット ホストのIPアドレスまたはDNS名です。   ターゲット
ポート 10016 Sparkコネクタの有効な値は1026~65535。   ターゲット
データベース名 デフォルト ユーザー クエリーで指定されない場合は、コネクタのデータベースの名前。

名前の最大長は255文字です。

  ターゲット
Spark実行メカニズム Spark Thriftサーバー Sparkにクエリーを送信するためにターゲット コネクタが使用するメカニズム。可能な値はSpark Thrift ServerとSpark Applicationです。

Spark ThriftサーバーはCDHまたはCDPではサポートされません。

  ターゲット
Sparkホーム パス /usr/hdp/current/spark2-client/ Sparkライブラリのすべての.jarファイルが含まれている/jarsサブディレクトリがあるSparkホーム ディレクトリへのファイル パス。   ターゲット
Conf ファイルのパス /etc/hadoop/conf/,

/etc/spark2/conf/

core-site.xmlhdfs-site.xmlhive-site.xml(利用可能な場合)へのパス(カンマ区切りリスト)。   ターゲット

Security(セキュリティ)タブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
認証メカニズム None クラスタの全体的なセキュリティ メカニズム。

エンタープライズ セキュリティ パッケージ(ESP)を使用している場合のHDInsightクラスタについては、Kerberosを選択します。

  ターゲット
ユーザー名 Hive ユーザーの名前。コネクタまたはターゲット コネクタのリンク用に追加されたユーザー名は、許可されているOSユーザーに含める必要があります。

最大長は255文字です。

このNVPはQueryGridマネージャ構成で保存され、イニシエータがユーザー認証情報を提供するメカニズムをサポートしない場合に必要です。ユーザー名は接続診断チェックにも使用されます。

  ターゲット
パスワード None ユーザーまたはサービス アカウントのパスワード。   ターゲット
Keytab None Kerberos keytabファイルへの絶対パス。ユーザー名とパスワードが指定されていない場合、QueryGridはキータブ ファイルのみを使用して認証します。   ターゲット
SSLトラストストアのパス None SSLが有効になっている場合、Spark Thrift Serverで認証するためのSSLトラストストアまたはキーストアのパス。

キーがJavaトラストストアに格納されている場合は必要ありません。

  ターゲット
SSLトラストストアのパスワード None SSLが有効になっている場合、Spark Thrift Serverで認証するためのSSLトラストストアまたはキーストアのパスワード。

キーがJavaトラストストアに格納されている場合は必要ありません。

  ターゲット

Query Engine(クエリー エンジン)タブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
エグゼキュータの数 None データがSpark SQLにエクスポートまたはインポートされるときの並列処理の単位。

numExecutors

イニシエータ、ターゲット
キュー名 None Sparkジョブを実行依頼するキューの名前。Sparkアプリケーション モードのみ。

queueName

ターゲット
Hadoopプロパティ None ユーザー セッションのHadoop環境プロパティを指定します。プロパティはリスト形式で指定します。各プロパティとその値の間には=を使用し(name=value, name=value, name=value)、プロパティ間の区切り文字としてカンマを使用します(カンマの後にはスペースを入れても、入れなくてもかまいません)。

例:

mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=false

Hadoopプロパティが選択されていない場合は、デフォルトのHadoop環境プロパティが使用されます。

hadoopProperties

ターゲット
圧縮コーデック システムのデフォルト Sparkターゲット テーブルにエクスポートするときに使用する圧縮タイプ。有効な値は、システム デフォルト、Deflate、BZip2、GZip、LZ4、およびSnappyです。

compressionCodec

ターゲット

Advanced(詳細)タブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
一時データベース名 デフォルト 一時テーブルとビューを格納するための一時データベース名。

tempDbName

ターゲット
ログを有効にする INFO デバッグ モードを有効にしてクエリーを実行します。

有効な値はNONE、WARN、INFO、およびDEBUGです。

  イニシエータ、ターゲット
プッシュ ダウンを無効にする false trueに設定すると、ターゲット システムへのすべてのクエリー条件のプッシュダウンを無効にします。

casespecificなど、システム レベル、セッション レベルおよび列レベルの特定のクエリー属性は、文字列の比較結果に影響する場合があります。これらの属性によってターゲット システムに対する不正な行フィルタが実行され、一部のクエリーが不正な結果を返す場合があります。

開始システムの設定がターゲット システムの設定と一致しない状況での条件プッシュダウンによって不正な結果が発生するのを回避するために、ターゲット システムへのすべての条件のプッシュダウンを無効にすることができます。

このプロパティが上書き可として指定されている場合は、セッション レベルでfalseからtrue(プッシュダウンを無効にしていることを示す)にのみ上書きできますが、trueからfalseに変更することはできません。

disablepushdown

イニシエータ
16.20+ LOBサポート True Teradataステム バージョン16.20以降では、Spark SQLのSTRING列とBINARY列はデフォルトでCLOBとBLOBにマップされます。STRING列とBINARY列をそれぞれVARCHARとVARBYTEにマップするには、このオプションの選択を解除します。

Sparkテーブルに多数のSTRING/BINARY列がある場合は、このオプションを無効にします。

lobSupport

ターゲット
デフォルトの文字列サイズ 32000文字 VARCHARの切り捨てサイズ。これは、文字列に対してインポートまたはエクスポートされたデータが切り捨てられるサイズです。値はインポートするUnicode文字の最大数を表わします(デフォルトは32000文字)。Teradata QueryGridは、defaultStringSizeで設定されたデフォルト値で文字列を切り捨てます。

有効な値は1~1048544000文字です。

これは、Teradata - Spark間のリンク用で、ターゲットのSparkコネクタによって使用され、開始時に適用されます。Teradataシステムは、QueryGridではCLOBデータ型をサポートしません。CLOBのサポートでは、デフォルトの文字列サイズは使用されません。

defaultStringSize

ターゲット
デフォルトのバイナリ サイズ 64000バイト VARBINARY型のデフォルトの切り捨てサイズ。

有効な値は1~2097088000バイトです。

これは、Teradata - Spark間のリンク用で、ターゲットのSparkコネクタによって使用され、開始時に適用されます。Teradataシステムは、QueryGridではBLOBデータ型をサポートしません。BLOBのサポートでは、デフォルトのバイナリ サイズは使用されません。

defaultBinarySize

ターゲット
アクティビティ カウントの概数を収集する false ターゲット データ ソースにエクスポートされる行の概数を表示します。

falseに設定すると、アクティビティ数に1が表示されます。trueに設定すると、おおよそのアクティビティ数が返されます。trueに設定されているときにマスター サービスとして同期を実行します。指定しない場合、デフォルトはfalseです。

collectActivityCount

ターゲット
リンク バッファ数 4 単一チャネルで一度に利用可能な書き込みバッファの最大数。
リンク バッファ カウントは、デフォルトの内部ファブリック プロパティshmDefaultNumMemoryBuffersを上書きします。

有効な値は2~16。

linkBufferCount

イニシエータ、ターゲット
リンク バッファのサイズ 1048576 行の処理とメッセージ交換に割り当てる書き込みバッファの最大サイズ。

有効な値は73728~10485760バイトです。

linkBufferSize

イニシエータ、ターゲット
応答のタイムアウト 86400000 タイムアウトと動作停止の前にターゲット クエリーの完了まで待機するミリ秒数。ファブリックは、ターゲット リンク プロパティまたはターゲット コネクタ プロパティで設定された値を超える期間を持つクエリーに関連付けられたすべてのリソースを停止し解放します。コネクタは、ファブリックからの応答数がコネクタの応答タイムアウト値を超えると、タイムアウトします。

有効な値は300000~172800000です。

responseTimeout

イニシエータ、ターゲット
接続の最大アイドル時間 86400秒 接続キャッシュ オブジェクトの最大アイドル時間。この後、オブジェクトは閉じられ、キャッシュから削除されます。このプロパティは、接続オブジェクトのスターベーションにつながる可能性があるシステム上で同時に実行されているユーザーとクエリーが複数ある場合に使用します。

有効な値は1~86400秒です。

  ターゲット
接続のプール サイズ 100 接続プールに格納できる接続オブジェクトの最大数。新しい接続を取得するとき、コネクタはプール内の使用可能な領域を確認します。接続プールに空き領域がない場合、接続は5分後に失敗します。コネクタ構成ごとに接続プールとユーザー名を1つだけ使用できます。

有効な値は1~10000です。

  ターゲット
接続のEvict頻度 30分 Evictチェックの頻度。接続オブジェクトのアイドル時間(現在の時刻-最後の使用時間)が接続の最大アイドル時間設定よりも大きい場合、プールからの接続オブジェクトはチェック、終了、および削除されます。

クエリーを同時に実行しているユーザーが複数いる場合は、接続をより頻繁にクリアするためにチェック間隔を短くします。

有効な値は1~1440分です。

  ターゲット