- ターゲット コネクタ コンポーネントの動作の指定
- データの変換方法の構成
- 基本となるリンク データの転送レイヤーの構成
- イニシエータ コネクタの実行方法の決定
リンクは開始コネクタとターゲット コネクタを含む名前付きの構成です。 リンクとコネクタに同じプロパティが設定されている場合、リンク設定はコネクタ設定を上書きします。
基本タブ
名前 | デフォルト | 説明 | 上書き可? プロパティ名 |
コネクタのタイプ |
---|---|---|---|---|
Server | なし | JDBC接続文字列の一部としてターゲット データベースへの接続に使用されます。これはターゲット ホストのIPアドレスまたはDNS名です。 | ターゲット | |
ポート | 10016 | Sparkコネクタの有効な値は1026~65535。 | ターゲット | |
データベース名 | デフォルト | ユーザー クエリーで指定されない場合は、コネクタのデータベースの名前。 名前の最大長は255文字です。 |
ターゲット | |
Sparkリソース マネージャ | YARN | Sparkプラットフォームが使用するResource Manager。使用可能な値はYARNとstandaloneです。 | イニシエータ、ターゲット | |
Spark実行メカニズム | Spark Thriftサーバー | Sparkにクエリーを送信するためにターゲット コネクタが使用するメカニズム。可能な値はSpark Thrift ServerとSpark Applicationです。 | ターゲット | |
Sparkホーム パス | /usr/hdp/current/spark2-client/ | Sparkライブラリのすべての.jarファイルが含まれている/jarsサブディレクトリがあるSparkホーム ディレクトリへのファイル パス。 | ターゲット | |
Conf ファイルのパス | /etc/hadoop/conf/, /etc/spark2/conf/ |
core-site.xml、hdfs-site.xml、hive-site.xml(利用可能な場合)へのパス(カンマ区切りリスト)。 | ターゲット |
セキュリティ タブ
名前 | デフォルト | 説明 | 上書き可? プロパティ名 |
コネクタのタイプ |
---|---|---|---|---|
認証メカニズム | なし | クラスタの全体的なセキュリティ メカニズム。 エンタープライズ セキュリティ パッケージ(ESP)を使用している場合のHDInsightクラスタについては、Kerberosを選択します。 |
ターゲット | |
ユーザー名 | hive | ユーザーの名前。コネクタまたはターゲット コネクタのリンク用に追加されたユーザー名は、許可されているOSユーザーに含める必要があります。 最大長は255文字です。 このNVPはTeradata QueryGridマネージャ構成で保存され、イニシエータがユーザー信頼証明を提供するメカニズムをサポートしない場合に必要です。ユーザー名は接続診断チェックにも使用されます。 |
ターゲット | |
パスワード | なし | ユーザーまたはサービス アカウントのパスワード。 | ターゲット | |
Keytab | なし | Kerberos keytabファイルへの絶対パス。ユーザー名とパスワードが指定されていない場合、QueryGridはキータブ ファイルのみを使用して認証します。 | ターゲット | |
SSLトラストストアのパス | なし | SSLが有効になっている場合、Spark Thrift Serverで認証するためのSSLトラストストアまたはキーストアのパス。 キーがJavaトラストストアに格納されている場合は必要ありません。 |
ターゲット | |
SSLトラストストアのパスワード | なし | SSLが有効になっている場合、Spark Thrift Serverで認証するためのSSLトラストストアまたはキーストアのパスワード。 キーがJavaトラストストアに格納されている場合は必要ありません。 |
ターゲット |
クエリーエンジン タブ
名前 | デフォルト | 説明 | 上書き可? プロパティ名 |
コネクタのタイプ |
---|---|---|---|---|
エグゼキュータの数 | なし | データがSpark SQLにエクスポートまたはインポートされるときの並列処理の単位。 | ● numExecutors |
イニシエータ、ターゲット |
SparkモニタリングRESTサーバー | localhost:8080 | SparkモニタリングRESTサーバーの1つまたは複数の「ホスト/IP:ポート」の組み合わせ。Sparkリソース マネージャのプロパティがスタンドアロンに設定されている場合に、ワーカー ノードの一覧を維持するためにRESTサーバーがSparkコネクタによって使用されます。 | イニシエータ | |
キュー名 | なし | Sparkジョブを実行依頼するキューの名前。Sparkアプリケーション モードのみ。 | ● queueName |
ターゲット |
Hadoopプロパティ | なし | ユーザー セッションのHadoop環境プロパティを指定します。プロパティはリスト形式で指定します。各プロパティとその値の間には=を使用し(name=value, name=value, name=value)、プロパティ間の区切り文字としてカンマを使用します(カンマの後にはスペースを入れても、入れなくてもかまいません)。 例: mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=falseHadoopプロパティが選択されていない場合は、デフォルトのHadoop環境プロパティが使用されます。 |
● hadoopProperties |
ターゲット |
圧縮コーデック | システムのデフォルト | Sparkターゲット テーブルにエクスポートするときに使用する圧縮タイプ。有効な値は、システム デフォルト、Deflate、BZip2、GZip、LZ4、およびSnappyです。 | ● compressionCodec |
ターゲット |
詳細タブ
名前 | デフォルト | 説明 | 上書き可? プロパティ名 |
コネクタのタイプ |
---|---|---|---|---|
一時データベース名 | デフォルト | 一時テーブルとビューを格納するための一時データベース名。 | ● tempDbName |
ターゲット |
ログを有効にする | INFO | デバッグ モードを有効にしてクエリーを実行します。 有効な値はNONE、WARN、INFO、およびDEBUGです。 |
イニシエータ、ターゲット | |
プッシュ ダウンを無効にする | false | trueに設定すると、ターゲット システムへのすべてのクエリー条件のプッシュダウンを無効にします。 casespecificなど、システム レベル、セッション レベルおよび列レベルの特定のクエリー属性は、文字列の比較結果に影響する場合があります。これらの属性によってターゲット システムに対する不正な行フィルタが実行され、一部のクエリーが不正な結果を返す場合があります。 開始システムの設定がターゲット システムの設定と一致しない状況での条件プッシュダウンによって不正な結果が発生するのを回避するために、ターゲット システムへのすべての条件のプッシュダウンを無効にすることができます。 このプロパティが上書き可として指定されている場合は、セッション レベルでfalseからtrue(プッシュダウンを無効にしていることを示す)にのみ上書きできますが、trueからfalseに変更することはできません。 |
● disablepushdown |
イニシエータ |
16.20+ LOBサポート | true | Teradata Databasesバージョン16.20以降では、Spark SQLのSTRING列とBINARY列はデフォルトでCLOBとBLOBにマップされます。STRING列とBINARY列をそれぞれVARCHARとVARBYTEにマップするには、このオプションの選択を解除します。 Sparkテーブルに多数のSTRING/BINARY列がある場合は、このオプションを無効にします。 |
● lobSupport |
ターゲット |
デフォルトの文字列サイズ | 32000文字 | VARCHARの切り捨てサイズ。これは、文字列に対してインポートまたはエクスポートされたデータが切り捨てられるサイズです。値はインポートするUnicode文字の最大数を表わします(デフォルトは32000文字)。Teradata QueryGridは、defaultStringSizeで設定されたデフォルト値で文字列を切り捨てます。 有効な値は1~1048544000文字です。 これは、Teradata - Spark間のリンク用で、ターゲットのSparkコネクタによって使用され、開始時に適用されます。Teradata Databaseは、QueryGridでCLOBデータ型をサポートしていません。CLOBのサポートでは、デフォルトの文字列サイズは使用されません。 |
● defaultStringSize |
ターゲット |
デフォルトのバイナリ サイズ | 64000バイト | VARBINARY型のデフォルトの切り捨てサイズ。 有効な値は1~2097088000バイトです。 これは、Teradata - Spark間のリンク用で、ターゲットのSparkコネクタによって使用され、開始時に適用されます。Teradata Databaseは、QueryGridでBLOBデータ型をサポートしていません。BLOBのサポートでは、デフォルトのバイナリ サイズは使用されません。 |
● defaultBinarySize |
ターゲット |
アクティビティ カウントの概数を収集する | false | ターゲット データ ソースにエクスポートされる行の概数を表示します。 falseに設定すると、アクティビティ数に1が表示されます。trueに設定すると、おおよそのアクティビティ数が返されます。trueに設定されているときにマスター サービスとして同期を実行します。指定しない場合、デフォルトはfalseです。 |
● collectActivityCount |
ターゲット |
リンク バッファ数 | 4 | 単一チャネルで一度に利用可能な書き込みバッファの最大数。 リンク バッファ カウントは、デフォルトの内部ファブリック プロパティshmDefaultNumMemoryBuffersを上書きします。
有効な値は2~16。 |
● linkBufferCount |
イニシエータ、ターゲット |
リンク バッファのサイズ | 1048576 | 行の処理とメッセージ交換に割り当てる書き込みバッファの最大サイズ。 有効な値は73728~10485760バイトです。 |
● linkBufferSize |
イニシエータ、ターゲット |
リンク ハートビートの間隔 | 3600000 | コネクタとファブリック インスタンス間のチャネルのハートビート信号の最大間隔(ミリ秒)で、ヘルス チェック ステータスに使用されます。診断の目的に使用する場合のみ調整可能。 この間隔をリンク ハンドシェイク タイムアウトよりも大きく設定します。
有効な値は60000~86400000です。 |
イニシエータ、ターゲット | |
リンク ハンドシェイクのタイムアウト | 30000 | 共有メモリ チャネル設定でのミリ秒単位のハンドシェイクおよびACKタイムアウト。 有効な値は60000~86400000です。 |
イニシエータ、ターゲット | |
読み取りのタイムアウト | 3600000 | データ メッセージのインポート時にデータ パケット間で読み取りを待つミリ秒数。 有効な値は300000~86400000です。 |
● readTimeout |
イニシエータ、ターゲット |
書き込みのタイムアウト | 3600000 | データ メッセージのエクスポート時にデータ パケット間で書き込みを待つミリ秒数。 有効な値は300000~86400000です。 |
● writeTimeout |
イニシエータ、ターゲット |
応答のタイムアウト | 86400000 | すべてのデータが転送されたとき、最後のデータ実行の応答を待機するミリ秒数。 有効な値は1800000~172800000です。 |
● responseTimeout |
イニシエータ、ターゲット |
接続の最大アイドル時間 | 86400秒 | 接続キャッシュ オブジェクトの最大アイドル時間。この後、オブジェクトは閉じられ、キャッシュから削除されます。このプロパティは、接続オブジェクトのスターベーションにつながる可能性があるシステム上で同時に実行されているユーザーとクエリーが複数ある場合に使用します。 有効な値は1~86400秒です。 |
ターゲット | |
接続のプール サイズ | 100 | 接続プールに格納できる接続オブジェクトの最大数。新しい接続を取得するとき、コネクタはプール内の使用可能な領域を確認します。接続プールに空き領域がない場合、接続は5分後に失敗します。コネクタ構成ごとに接続プールとユーザー名を1つだけ使用できます。 有効な値は1~10000です。 |
ターゲット | |
接続のEvict頻度 | 30分 | Evictチェックの頻度。接続オブジェクトのアイドル時間(現在の時刻-最後の使用時間)が接続の最大アイドル時間設定よりも大きい場合、プールからの接続オブジェクトはチェック、終了、および削除されます。 クエリーを同時に実行しているユーザーが複数いる場合は、接続をより頻繁にクリアするためにチェック間隔を短くします。 有効な値は1~1440分です。 |
ターゲット |