Spark SQLコネクタとリンクのプロパティ - Teradata QueryGrid

Teradata® QueryGrid™ インストールとユーザー ガイド

Product
Teradata QueryGrid
Release Number
2.13
Published
2020年8月
Language
日本語
Last Update
2020-09-04
dita:mapPath
ja-JP/oow1591642881502.ditamap
dita:ditavalPath
ft:empty
dita:id
lfq1484661135852
Product Category
Analytical Ecosystem
QueryGridポートレットでのリンクおよび関連付けられるプロパティの作成時に、名前と値のペア(NVP)の構成を作成します。NVPでは次を実行します。
  • ターゲット コネクタ コンポーネントの動作の指定
  • データの変換方法の構成
  • 基本となるリンク データの転送レイヤーの構成
  • イニシエータ コネクタの実行方法の決定

リンクは開始コネクタとターゲット コネクタを含む名前付きの構成です。 リンクとコネクタに同じプロパティが設定されている場合、リンク設定はコネクタ設定を上書きします。

プロパティは、開始コネクタ専用、ターゲット コネクタ専用、または両方に使用可能です。

基本タブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
Server なし JDBC接続文字列の一部としてターゲット データベースへの接続に使用されます。これはターゲット ホストのIPアドレスまたはDNS名です。   ターゲット
ポート 10016 Sparkコネクタの有効な値は1026~65535。   ターゲット
データベース名 デフォルト ユーザー クエリーで指定されない場合は、コネクタのデータベースの名前。

名前の最大長は255文字です。

  ターゲット
Sparkリソース マネージャ YARN Sparkプラットフォームが使用するResource Manager。使用可能な値はYARNとstandaloneです。   イニシエータ、ターゲット
Spark実行メカニズム Spark Thriftサーバー Sparkにクエリーを送信するためにターゲット コネクタが使用するメカニズム。可能な値はSpark Thrift ServerとSpark Applicationです。   ターゲット
Sparkホーム パス /usr/hdp/current/spark2-client/ Sparkライブラリのすべての.jarファイルが含まれている/jarsサブディレクトリがあるSparkホーム ディレクトリへのファイル パス。   ターゲット
Conf ファイルのパス /etc/hadoop/conf/,

/etc/spark2/conf/

core-site.xmlhdfs-site.xmlhive-site.xml(利用可能な場合)へのパス(カンマ区切りリスト)。   ターゲット

セキュリティ タブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
認証メカニズム なし クラスタの全体的なセキュリティ メカニズム。

エンタープライズ セキュリティ パッケージ(ESP)を使用している場合のHDInsightクラスタについては、Kerberosを選択します。

  ターゲット
ユーザー名 hive ユーザーの名前。コネクタまたはターゲット コネクタのリンク用に追加されたユーザー名は、許可されているOSユーザーに含める必要があります。

最大長は255文字です。

このNVPはTeradata QueryGridマネージャ構成で保存され、イニシエータがユーザー信頼証明を提供するメカニズムをサポートしない場合に必要です。ユーザー名は接続診断チェックにも使用されます。

  ターゲット
パスワード なし ユーザーまたはサービス アカウントのパスワード。   ターゲット
Keytab なし Kerberos keytabファイルへの絶対パス。ユーザー名とパスワードが指定されていない場合、QueryGridはキータブ ファイルのみを使用して認証します。   ターゲット
SSLトラストストアのパス なし SSLが有効になっている場合、Spark Thrift Serverで認証するためのSSLトラストストアまたはキーストアのパス。

キーがJavaトラストストアに格納されている場合は必要ありません。

  ターゲット
SSLトラストストアのパスワード なし SSLが有効になっている場合、Spark Thrift Serverで認証するためのSSLトラストストアまたはキーストアのパスワード。

キーがJavaトラストストアに格納されている場合は必要ありません。

  ターゲット

クエリーエンジン タブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
エグゼキュータの数 なし データがSpark SQLにエクスポートまたはインポートされるときの並列処理の単位。

numExecutors

イニシエータ、ターゲット
SparkモニタリングRESTサーバー localhost:8080 SparkモニタリングRESTサーバーの1つまたは複数の「ホスト/IP:ポート」の組み合わせ。Sparkリソース マネージャのプロパティがスタンドアロンに設定されている場合に、ワーカー ノードの一覧を維持するためにRESTサーバーがSparkコネクタによって使用されます。   イニシエータ
キュー名 なし Sparkジョブを実行依頼するキューの名前。Sparkアプリケーション モードのみ。

queueName

ターゲット
Hadoopプロパティ なし ユーザー セッションのHadoop環境プロパティを指定します。プロパティはリスト形式で指定します。各プロパティとその値の間には=を使用し(name=value, name=value, name=value)、プロパティ間の区切り文字としてカンマを使用します(カンマの後にはスペースを入れても、入れなくてもかまいません)。

例:

mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=false

Hadoopプロパティが選択されていない場合は、デフォルトのHadoop環境プロパティが使用されます。

hadoopProperties

ターゲット
圧縮コーデック システムのデフォルト Sparkターゲット テーブルにエクスポートするときに使用する圧縮タイプ。有効な値は、システム デフォルト、Deflate、BZip2、GZip、LZ4、およびSnappyです。

compressionCodec

ターゲット

詳細タブ

名前 デフォルト 説明 上書き可?

プロパティ名

コネクタのタイプ
一時データベース名 デフォルト 一時テーブルとビューを格納するための一時データベース名。

tempDbName

ターゲット
ログを有効にする INFO デバッグ モードを有効にしてクエリーを実行します。

有効な値はNONE、WARN、INFO、およびDEBUGです。

  イニシエータ、ターゲット
プッシュ ダウンを無効にする false trueに設定すると、ターゲット システムへのすべてのクエリー条件のプッシュダウンを無効にします。

casespecificなど、システム レベル、セッション レベルおよび列レベルの特定のクエリー属性は、文字列の比較結果に影響する場合があります。これらの属性によってターゲット システムに対する不正な行フィルタが実行され、一部のクエリーが不正な結果を返す場合があります。

開始システムの設定がターゲット システムの設定と一致しない状況での条件プッシュダウンによって不正な結果が発生するのを回避するために、ターゲット システムへのすべての条件のプッシュダウンを無効にすることができます。

このプロパティが上書き可として指定されている場合は、セッション レベルでfalseからtrue(プッシュダウンを無効にしていることを示す)にのみ上書きできますが、trueからfalseに変更することはできません。

disablepushdown

イニシエータ
16.20+ LOBサポート true Teradata Databasesバージョン16.20以降では、Spark SQLのSTRING列とBINARY列はデフォルトでCLOBとBLOBにマップされます。STRING列とBINARY列をそれぞれVARCHARとVARBYTEにマップするには、このオプションの選択を解除します。

Sparkテーブルに多数のSTRING/BINARY列がある場合は、このオプションを無効にします。

lobSupport

ターゲット
デフォルトの文字列サイズ 32000文字 VARCHARの切り捨てサイズ。これは、文字列に対してインポートまたはエクスポートされたデータが切り捨てられるサイズです。値はインポートするUnicode文字の最大数を表わします(デフォルトは32000文字)。Teradata QueryGridは、defaultStringSizeで設定されたデフォルト値で文字列を切り捨てます。

有効な値は1~1048544000文字です。

これは、Teradata - Spark間のリンク用で、ターゲットのSparkコネクタによって使用され、開始時に適用されます。Teradata Databaseは、QueryGridでCLOBデータ型をサポートしていません。CLOBのサポートでは、デフォルトの文字列サイズは使用されません。

defaultStringSize

ターゲット
デフォルトのバイナリ サイズ 64000バイト VARBINARY型のデフォルトの切り捨てサイズ。

有効な値は1~2097088000バイトです。

これは、Teradata - Spark間のリンク用で、ターゲットのSparkコネクタによって使用され、開始時に適用されます。Teradata Databaseは、QueryGridでBLOBデータ型をサポートしていません。BLOBのサポートでは、デフォルトのバイナリ サイズは使用されません。

defaultBinarySize

ターゲット
アクティビティ カウントの概数を収集する false ターゲット データ ソースにエクスポートされる行の概数を表示します。

falseに設定すると、アクティビティ数に1が表示されます。trueに設定すると、おおよそのアクティビティ数が返されます。trueに設定されているときにマスター サービスとして同期を実行します。指定しない場合、デフォルトはfalseです。

collectActivityCount

ターゲット
リンク バッファ数 4 単一チャネルで一度に利用可能な書き込みバッファの最大数。
リンク バッファ カウントは、デフォルトの内部ファブリック プロパティshmDefaultNumMemoryBuffersを上書きします。

有効な値は2~16。

linkBufferCount

イニシエータ、ターゲット
リンク バッファのサイズ 1048576 行の処理とメッセージ交換に割り当てる書き込みバッファの最大サイズ。

有効な値は73728~10485760バイトです。

linkBufferSize

イニシエータ、ターゲット
リンク ハートビートの間隔 3600000 コネクタとファブリック インスタンス間のチャネルのハートビート信号の最大間隔(ミリ秒)で、ヘルス チェック ステータスに使用されます。診断の目的に使用する場合のみ調整可能。
この間隔をリンク ハンドシェイク タイムアウトよりも大きく設定します。

有効な値は60000~86400000です。

  イニシエータ、ターゲット
リンク ハンドシェイクのタイムアウト 30000 共有メモリ チャネル設定でのミリ秒単位のハンドシェイクおよびACKタイムアウト。

有効な値は60000~86400000です。

  イニシエータ、ターゲット
読み取りのタイムアウト 3600000 データ メッセージのインポート時にデータ パケット間で読み取りを待つミリ秒数。

有効な値は300000~86400000です。

readTimeout

イニシエータ、ターゲット
書き込みのタイムアウト 3600000 データ メッセージのエクスポート時にデータ パケット間で書き込みを待つミリ秒数。

有効な値は300000~86400000です。

writeTimeout

イニシエータ、ターゲット
応答のタイムアウト 86400000 すべてのデータが転送されたとき、最後のデータ実行の応答を待機するミリ秒数。

有効な値は1800000~172800000です。

responseTimeout

イニシエータ、ターゲット
接続の最大アイドル時間 86400秒

接続キャッシュ オブジェクトの最大アイドル時間。この後、オブジェクトは閉じられ、キャッシュから削除されます。このプロパティは、接続オブジェクトのスターベーションにつながる可能性があるシステム上で同時に実行されているユーザーとクエリーが複数ある場合に使用します。

有効な値は1~86400秒です。

  ターゲット
接続のプール サイズ 100

接続プールに格納できる接続オブジェクトの最大数。新しい接続を取得するとき、コネクタはプール内の使用可能な領域を確認します。接続プールに空き領域がない場合、接続は5分後に失敗します。コネクタ構成ごとに接続プールとユーザー名を1つだけ使用できます。

有効な値は1~10000です。

  ターゲット
接続のEvict頻度 30分

Evictチェックの頻度。接続オブジェクトのアイドル時間(現在の時刻-最後の使用時間)が接続の最大アイドル時間設定よりも大きい場合、プールからの接続オブジェクトはチェック、終了、および削除されます。

クエリーを同時に実行しているユーザーが複数いる場合は、接続をより頻繁にクリアするためにチェック間隔を短くします。

有効な値は1~1440分です。

  ターゲット