- ターゲット コネクタ コンポーネントの動作の指定
- データの変換方法の構成
- 基本となるリンク データの転送レイヤーの構成
- イニシエータ コネクタの実行方法の決定
リンクは開始コネクタとターゲット コネクタを含む名前付きの構成です。 リンクとコネクタに同じプロパティが設定されている場合、リンク設定はコネクタ設定を上書きします。
基本タブ
名前 | デフォルト | 説明 | 上書き可? プロパティ名 |
コネクタのタイプ |
---|---|---|---|---|
Server | なし | JDBC接続文字列の一部としてターゲット データベースへの接続に使用されます。これはターゲット ホストのIPアドレスまたはDNS名です。 | ターゲット | |
ポート | 10000 | Hiveserver 2の有効な値は1026~65535です。 | ターゲット | |
データベース名 | デフォルト | ユーザー クエリーで指定されない場合は、コネクタのデータベースの名前。 名前の最大長は255文字です。 |
ターゲット | |
Confファイル パス | /etc/hadoop/conf/, /etc/hive/conf/ |
core-site.xml、hdfs-site.xml、hive-site.xmlへのパス(カンマ区切りリスト)。 Hiveserver2のhive-site.xmlとLLAPのhive-site.xmlの両方が存在する場合、LLAPのhive-site.xmlの優先順位が高くなり、両方のファイルが存在するが異なる値が含まれている場合はLLAPの方が使用されます。 これは必須の設定です。 |
ターゲット |
セキュリティ タブ
名前 | デフォルト | 説明 | 上書き可? プロパティ名 |
コネクタのタイプ |
---|---|---|---|---|
認証メカニズム | なし | ターゲット データ ソースで使用される認証メカニズム。 有効な値はNone、Kerberos、信頼済みKerberos、および HS2Only です。 これは必須の設定です。 エンタープライズ セキュリティ パッケージ(ESP)を使用している場合のHDInsightクラスタについては、Kerberosを選択します。 |
ターゲット | |
ユーザー名 | hive | ユーザーの名前。コネクタまたはターゲット コネクタのリンク用に追加されたユーザー名は、許可されているOSユーザーに含める必要があります。 最大長は255文字です。 このNVPはTeradata QueryGridマネージャ構成で保存され、イニシエータがユーザー信頼証明を提供するメカニズムをサポートしない場合に必要です。ユーザー名は接続診断チェックにも使用されます。 |
ターゲット | |
パスワード | なし | ユーザー パスワード。 最大長は255文字です。 Kerberos、信頼済みKerberos、または HS2Only セキュリティを使用する場合にのみ使用。 |
ターゲット | |
Keytab | なし | Kerberos keytabファイルの絶対パス。QueryGridは、ユーザーがユーザー名とパスワードを入力しない場合のみ、このkeytabファイルを認証に使用します。 | ターゲット | |
Hive Kerberosプリンシパル | なし | x/y@z形式のHiveServer2のプリンシパル。HiveServer2のhive-site.xmlから読み取られるプリンシパルをオーバーライドします。 CDHでKerberosを使用する場合に必要です。 |
ターゲット | |
ロール サポート | False | ターゲット システムのユーザー ロールのサポートを有効にします。 trueに設定すると、ロール マッピングがある場合はそのマッピングに基づいて、イニシエータまたはターゲットからのユーザー ロールがターゲット システムに適用されます。クラスタがロールをサポートするように構成されている場合は、エラーがユーザーに返されます。クラスタがロールをサポートするように構成されていない場合、ユーザー ロールは適用されません。 falseに設定すると、ロールはターゲット システムに適用されません。 |
● roleSupport |
ターゲット |
Knoxゲートウェイ ホスト | なし | Knoxゲートウェイ ホスト。このプロパティの使用は、Knoxが使用されることを示します。 | ターゲット | |
Knoxゲートウェイ ポート | 8443 | ノックス ゲートウェイ ポート番号。 有効な値は1024~65535。 Knoxのみを使用する場合に必要です。 |
ターゲット | |
Knoxコンテキスト パス | なし | HS2のノックス コンテキスト パス(例: gateway/mycluster/hive) Knoxのみを使用する場合に必要です。 |
ターゲット | |
Knoxトラスト ストア パス | なし | ノックス ゲートウェイ トラスト ストア パス。 Knoxのみを使用する場合に必要です。 |
ターゲット | |
Knoxトラスト ストア パスワード | なし | ノックス ゲートウェイ トラスト ストア パスワード。 Knoxのみを使用する場合に必要です。 |
ターゲット | |
Knox接続ユーザー名 | なし | Knox接続のユーザー名。 Knoxのみを使用する場合に必要です。 |
ターゲット | |
Knox接続パスワード | なし | Knox接続用のパスワード。 Knoxのみを使用する場合に必要です。 |
ターゲット | |
SSLトラストストアのパス | なし | SSLが有効な状態でhiveserver2に接続するときのトラストストア ファイル パスを指定します。
|
ターゲット | |
SSLトラストストアのパスワード | なし | hiveserver2でSSLが有効な場合は、SSLトラストストア パスワードを指定します。 | ターゲット |
クエリーエンジン タブ
名前 | デフォルト | 説明 | 上書き可? プロパティ名 |
コネクタのタイプ |
---|---|---|---|---|
Hive実行エンジン | mr | 使用するHive実行エンジン。 有効な値はmr、tez、またはsparkです。 |
● hiveEngine |
イニシエータ、ターゲット |
Mapperの数 | なし | データがHiveにエクスポートまたはインポートされるときに使用する並列処理の単位数。これは、クラスタのマッパー(コンテナに相当)の数です。クエリーごとのクラスタあたりの最大並列処理数を定義します。 これは、TargetConnectorからHiveへのエクスポート、またはHiveからTargetConnectorへのインポート(TargetConnectorは任意のタイプのコネクタ)を使用してデータがHiveにエクスポートまたはインポートされるときに適用可能です。 次に、控えめな開始値の例を示します。
|
● numMappers |
イニシエータ、ターゲット |
キュー名 | なし | MR、Tez、またはSparkジョブを実行依頼するキューの名前。 | ● queueName |
イニシエータ、ターゲット |
HiveServer2 HAが有効 | False | Zookeeper HAオプションをJDBC接続文字列の一部として使用するかどうかを示します。負荷分散のためにZookeeperサーバーに接続する場合はtrueに設定します。 | ● isHS2HAEnabled |
ターゲット |
Hadoopライブラリ パス | デフォルトのHadoopライブラリ パス | HadoopがデフォルトHadoopパスでなく、カスタム インストール パスを使用する場合、またはいずれかのHadoop .jarファイルがデフォルトHadoopライブラリの外部に保存されている場合は、必須です。複数のパスを指定する場合は、カンマ区切りリスト形式で入力します。カスタムHadoopライブラリ パスまたはカスタムJARパスで使用するためのHiveコネクタの構成. カスタム情報を使用できない場合は、デフォルトのHadoopライブラリ パスが使用されます。 を参照してください。 |
ターゲット | |
カスタムJarパス | なし | Hadoop JARファイルに一覧表示されていない.jarファイルで使用するパスを1つ以上指定します。複数のパスを指定する場合は、カンマ区切りリスト形式で入力します。カスタムHadoopライブラリ パスまたはカスタムJARパスで使用するためのHiveコネクタの構成を参照してください。 | ターゲット | |
Hadoopプロパティ | なし | ユーザー セッションのHadoop環境プロパティを指定します。プロパティはリスト形式で指定します。各プロパティとその値の間には=を使用し(name=value, name=value, name=value)、プロパティ間の区切り文字としてカンマを使用します(カンマの後にはスペースを入れても、入れなくてもかまいません)。 例: mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=falseHadoopプロパティが選択されていない場合は、デフォルトのHadoop環境プロパティが使用されます。 |
● hadoopProperties |
ターゲット |
圧縮コーデック | システムのデフォルト | Hiveテーブルにエクスポートするときに使用する圧縮タイプ。有効な値は、System Default、Deflate、BZip2、Gzip、LZ4、およびSnappyです。 | ● compressionCodec |
ターゲット |
エグゼキュータあたりのコア数 | なし | Hive-on-Sparkのみ。実行プログラムが実行できる同時タスクの数を制御します。値が指定されていない場合は、システムデフォルトが使用されます。 | ● numExecutorCores |
イニシエータ、ターゲット |
詳細タブ
名前 | デフォルト | 説明 | 上書き可? プロパティ名 |
コネクタのタイプ |
---|---|---|---|---|
一時データベース名 | Default | 一時テーブルとビューを格納するための一時データベース名。 | ● tempDbName |
ターゲット |
ログを有効にする | INFO | コネクタまたはリンク プロパティのロギング レベル。ユーザー レベルのログ設定は、QueryGridポートレットの追加または編集リンク ページを介して明示的に設定できます。 この設定は開始コネクタとターゲット コネクタの両方に適用されます。ただし、設定が異なる場合は、リンクの開始コネクタに対するロギング レベルが優先されます。 有効な値はNONE、WARN、INFO、およびDEBUGです。 |
イニシエータ、ターゲット | |
16.20+ LOBサポート | true | Teradata Databasesバージョン16.20以降では、HiveのSTRING列とBINARY列はデフォルトでCLOBとBLOBにマップされます。STRING列とBINARY列をそれぞれVARCHARとVARBYTEにマップするには、このオプションの選択を解除します。 Hiveテーブルに多数のSTRING/BINARY列がある場合は、このオプションを無効にします。 |
● lobSupport |
ターゲット |
デフォルトの文字列サイズ | 32000文字 | VARCHAR切り捨てサイズ。 これは、文字列に対してインポートまたはエクスポートされるデータが切り捨てられるサイズです。値はインポートするUnicode文字の最大数を表わし、デフォルトは32000文字です。実際の列サイズより小さい場合、defaultStringSizeで設定されたデフォルト値で文字列を切り捨てます。 有効な値は1~1048544000文字です。 これは、Teradata - Hive間のリンク用にターゲットHiveコネクタによって使用され、開始Teradata DatabaseがQueryGridでCLOBデータ型をサポートしていない場合に適用されます。CLOBのサポートでは、デフォルトの文字列サイズは使用されません。 |
● defaultStringSize |
ターゲット |
デフォルトのバイナリ サイズ | 64000バイト | VARBINARY型のデフォルトの切り捨てサイズ。 有効な値は1~2097088000バイトです。 これは、Teradata - Hive間のリンク用にターゲットHiveコネクタによって使用され、開始Teradata DatabaseがQueryGridでBLOBデータ型をサポートしていない場合に適用されます。BLOBのサポートでは、デフォルトのバイナリ サイズは使用されません。 |
● defaultBinarySize |
ターゲット |
プッシュ ダウンを無効にする | False | trueに設定すると、ターゲット システムへのすべてのクエリー条件のプッシュダウンを無効にします。 casespecificなど、システム レベル、セッション レベルおよび列レベルの特定のクエリー属性は、文字列の比較結果に影響する場合があります。これらの属性によってターゲット システムに対する不正な行フィルタが実行され、一部のクエリーが不正な結果を返す場合があります。 開始システムの設定がターゲット システムの設定と一致しない状況での条件プッシュダウンによって不正な結果が発生するのを回避するために、ターゲット システムへのすべての条件のプッシュダウンを無効にすることができます。 このプロパティが上書き可として指定されている場合は、セッション レベルでfalseからtrue(プッシュダウンを無効にしていることを示す)にのみ上書きできますが、trueからfalseに変更することはできません。 |
● disablepushdown |
イニシエータ |
アクティビティ カウントの概数を収集する | False | ターゲット データ ソースにエクスポートされる行の概数を表示します。 falseに設定すると、アクティビティ数に1が表示されます。trueに設定すると、おおよそのアクティビティ数が返されます。trueに設定されているときにマスター サービスとして同期を実行します。指定しない場合、デフォルトはfalseです。 |
● collectActivityCount |
ターゲット |
Hiveタスクの再試行をサポート | False | trueに設定すると、Hiveタスクの再試行をサポートするためにファブリックが有効になります。有効にした場合、Hiveタスクが再試行されると、ファブリックはクエリーで失敗しません。代わりに、失敗したタスクの試行から受信したデータを破棄し、再試行された試行からタスク データの処理を続行します。 この機能は、Hiveがデータ ソースであり、Hiveがターゲットとしてデータをインポートしている場合かHiveがデータをイニシエータとしてエクスポートしている場合、および実行エンジンがmrまたはtezの場合にのみサポートされます。
|
イニシエータ、ターゲット | |
スプール ファイル パス | /var/opt/teradata/tdqg/fabric/data/ | Hiveタスクの再試行をサポートするためにファブリックが有効になっている場合に、スプール ファイルに使用するローカル パス。 カスタム パスが指定されている場合、指定されたディレクトリがQueryGridクラスタで設定したすべてのHadoopデータ ノードに存在する必要があります。querygrid OSグループおよびtdqg OSユーザーのファイルおよびサブディレクトリを作成、読み取り、および書き込みするには、ディレクトリに読み取り、書き込み、および実行のアクセス許可が必要です。
|
イニシエータ、ターゲット | |
リンク バッファ数 | 4 | 単一チャネルで一度に利用可能な書き込みバッファの最大数。 リンク バッファ カウントは、デフォルトの内部ファブリック プロパティshmDefaultNumMemoryBuffersを上書きします。
有効な値は4~8。 |
● linkBufferCount |
イニシエータ、ターゲット |
リンク バッファのサイズ | 1048576 | 行の処理とメッセージ交換に割り当てる書き込みバッファの最大サイズ。 有効な値は73728~10485760バイトです。 |
● linkBufferSize |
イニシエータ |
リンク ハートビートの間隔 | 3600000 | コネクタとファブリック インスタンス間のチャネルのハートビート信号の最大間隔(ミリ秒)で、ヘルス チェック ステータスに使用されます。 この間隔は、リンク ハンドシェイクのタイムアウトよりも大きい必要があります。
有効な値は60000~86400000です。 |
イニシエータ、ターゲット | |
リンク ハンドシェイクのタイムアウト | 30000 | リンク チャネル設定でのミリ秒単位のハンドシェイク タイムアウト。 有効な値は60000~86400000です。 |
イニシエータ、ターゲット | |
読み取りのタイムアウト | 3600000 | データ メッセージのインポート時にデータ パケット間で読み取りを待つミリ秒数。 有効な値は300000~86400000です。 |
● readTimeout |
イニシエータ、ターゲット |
書き込みのタイムアウト | 3600000 | データ メッセージのエクスポート時にデータ パケット間で書き込みを待つミリ秒数。 有効な値は300000~86400000です。 |
● writeTimeout |
イニシエータ、ターゲット |
応答のタイムアウト | 86400000 | すべてのデータが転送されたとき、最後のデータ実行の応答を待機するミリ秒数。 有効な値は1800000~172800000です。 |
● responseTimeout |
イニシエータ、ターゲット |
接続の最大アイドル時間 | 86400秒 | 接続キャッシュ オブジェクトの最大アイドル時間。この後、オブジェクトは閉じられ、キャッシュから削除されます。このプロパティは、接続オブジェクトのスターベーションにつながる可能性があるシステム上で同時に実行されているユーザーとクエリーが複数ある場合に使用します。 有効な値は1~86400秒です。 |
ターゲット | |
接続のプール サイズ | 100 | 接続プールに格納できる接続オブジェクトの最大数。新しい接続を取得するとき、コネクタはプール内の使用可能な領域を確認します。接続プールに空き領域がない場合、接続は5分後に失敗します。コネクタ構成ごとに接続プールとユーザー名を1つだけ使用できます。 有効な値は1~10000です。 |
ターゲット | |
接続のEvict頻度 | 30分 | Evictチェックの頻度。接続オブジェクトのアイドル時間(現在の時刻-最後の使用時間)が接続の最大アイドル時間設定よりも大きい場合、プールからの接続オブジェクトはチェック、終了、および削除されます。 クエリーを同時に実行しているユーザーが複数いる場合は、接続をより頻繁にクリアするためにチェック間隔を短くします。 有効な値は1~1440分です。 |
ターゲット |