初期化文字列 - Access Module

Teradata Tools and Utilities Access Moduleリファレンス

Product
Access Module
Release Number
16.20
Published
2018年4月
Language
日本語
Last Update
2018-09-07
dita:mapPath
ja-JP/zvn1512703059360.ditamap
dita:ditavalPath
ja-JP/zvn1512703059360.ditaval
dita:id
B035-2425
Product Category
Teradata Tools and Utilities

Teradata Access Module for Amazon S3を使用してデータをロードおよびエクスポートするための、Teradata Access Module for Amazon S3の初期化文字列のパラメータは次のとおりです。

初期化文字列は、空白で区切られた一連のキーワードと値のペアから構成されます。 キーワードの値には、整数値または文字列を指定できます。



構文規則:

構文要素 説明
S3AccessID これは必須パラメータです。 これは実際にはAmazon S3ユーザーIDです。S3AccessIDの値は、初期化文字列パラメータS3AccessID、環境変数AWS_ACCESS_KEY_ID、またはAWScredentialsファイルを使用して指定できます。 初期化文字列パラメータS3AccessIDで指定された場合、環境変数AWS_ACCESS_KEY_IDの値とAWS credentialsファイルの内容は考慮されません。 環境変数AWS_ACCESS_KEY_IDで設定された場合、AWS credentialsファイルの内容は考慮されません。

JVファイルにこの値を格納するかどうかを決定するときは、セキュリティ ポリシーを考慮してください。

S3AccessKey これは必須パラメータです。 これは実際にはAmazon S3のパスワードです。 S3AccessKeyの値は、初期化文字列パラメータS3AccessKey、環境変数AWS_SECRET_ACCESS_KEY、またはAWS credentials情報ファイルを使用して指定できます。 初期化文字列パラメータS3AccessKeyで指定された場合、環境変数AWS_SECRET_ACCESS_KEYの値とAWS credentialsファイルの内容は考慮されません。 環境変数AWS_ACCESS_KEY_IDで指定された場合、AWS credentialsファイルの内容は考慮されません。

JVファイルにこの値を格納するかどうかを決定するときは、セキュリティ ポリシーを考慮してください。

S3Bucket これは必須パラメータです。このパラメータは、ロードおよびエクスポート操作に使用されるAmazon S3バケットを指定します。

このパラメータは、アクセス モジュール パラメータの初期化文字列に含める必要があります。

S3BufferCount この任意選択のパラメータは、S3ConnectionCountで指定されるTCP接続で使用するバッファ数を指定します。

接続数の2倍が最小推奨値です。値を指定しない場合、値(2 * S3ConnectionCount)がデフォルトとして使用されます。

S3BufferSize この任意選択のパラメータは、TCP接続に使用されるバッファのサイズを指定します。デフォルトは8MB(8388608バイト)です。エクスポート操作の場合、バッファ サイズは少なくとも5メガバイト(5MB)が必要です。便宜上、k(1000)、K(1024)、m(1000 * 1000)、M(1024 * 1024)の乗数を使用できます。例えば、デフォルトは8Mまたは8192Kと指定できます。
S3ConfigDir これは任意選択のパラメータです。AWSは、設定ディレクトリに格納されている2つのファイル、configおよびcredentialsから頻繁に必要となるパラメータを取得するためのアプリケーション プログラムを提供しています。慣例ではこのディレクトリは$HOME/.awsですが、このパラメータで上書きできます。
S3ConnectionCount この任意選択のパラメータは、Amazon S3サービスへのTCP接続の数を指定します。

指定しないと、デフォルトの10が使用されます。

S3LogAPI この任意選択のパラメータは、開発者用の追加情報を含むデバッグ トレース ファイルを作成します。トレース ファイルにはユーザーの信頼証明が含まれるため、Teradataによる明示的な指示がない限りS3LogAPIパラメータは使用しないでください。
S3Object これは必須パラメータです。S3Prefixを指定した場合、このパラメータの前に追加され、作成されるオブジェクトのパス名が生成されます。

大きな結果セットをサポートするために望ましい作業形態は、コネクタによって生成された接尾辞を追加することによって指定されたパス名に基づいて一連のオブジェクトを作成することです。詳細については、下記のS3SinglePartFileの説明を参照してください。

S3Prefix これは任意選択のパラメータです。このパラメータは、バケット内のパス名を作成するためにS3Object文字列の前に追加されます。エクスポートまたはロード スクリプトの作成上の便宜のために、一連のテーブルをエクスポートまたはロードするときに変更されないパス名の一部にこのパラメータを使用できます。
S3バケット内では、明示的にディレクトリを作成する必要はありません。S3 CLIとGUIは、"/"の存在に基づいてオブジェクトのリストを分離しますが、これは単に表示上の便宜のために行なわれます。パス名に"/"を使用するディレクトリを作成する必要はなく、パス名の中の1つ以上の"/"の存在または場所は、S3RegionまたはS3Object文字列のいずれかまたは両方から取得できます。特に、S3Prefixを使用する場合は、"/"を含む必要や、これで終わる必要はありません。”.
S3Profile configおよびcredentialsファイルは、AWSドキュメントごとのセクションに分かれています。各セクションには括弧で囲まれた見出しが付いています。S3Profile変数は、これらの2つの各ファイルからセクションを選択します。[default]という名前のセクションが常にあります。このセクションは、S3Profileが指定されていない場合、または値のデフォルトが明示的にdefaultと示されている場合(S3Profile=default)に使用されます。
S3Region これは必須パラメータです。 このパラメータは、S3オブジェクトが格納されているAmazon S3領域を指定します。 Amazon S3の領域名がus-west-2の場合、初期化文字列にS3Region=us-west-2を指定するか、configファイルで領域に= us-west-2を指定する必要があります。 この必須パラメータは、アクセス モジュールの初期化文字列で明示的に指定することによって上書きされない限り、configファイルから取得されます。
米国東海岸の元のAWS S3地域は、「米国標準」と呼ばれることがよくあります。これは、us-east-1と指定します。
S3Role これは、S3への接続に使用する信頼証明を指定するための代替パラメータです。このパラメータで指定されているIAMロールは、ジョブが実行されているAWS EC2インスタンスに割り当てられているIAMロールである必要があります。S3Roleが指定されている場合、S3AccessIDとS3AccessKeyは不要であり、指定されている場合は無視されます。指定するロールには、次のアクセス権が含まれている必要があります。
Resource *
     S3:ListAllMyBuckets, S3:GetBucketLocation
Resource <bucket> and <bucket>/*:
     S3:ListBucket, S3:GetObject, S3:PutObject,
     S3:DeleteObject
S3SinglePartFile この任意選択のパラメータは、読み込みまたは書き込み対象となるS3オブジェクトが、S3Objectによって指定された名前を持つ単一のファイルか、S3Objectによって命名された「明白な」ディレクトリ内の番号付きファイルのセットかを決定します。上記のように、ディレクトリは実際には存在しませんが、GUIとCLIは“/"に基づいてファイルを分離し、ディレクトリがあるように見せます。

アプリケーションがS3上にオブジェクトを作成するとき、オブジェクトは最大で10,000個の「ピース」から作成できます。接続が開かれるときに、「ピース」のサイズとSHAハッシュを提示する必要があります。ファイルをディスク上にバッファリングすることは望ましくないので、「ピース」のサイズはバッファのサイズに制限されます。最小ピース サイズ/バッファ サイズは5MBです。デフォルトでは、メモリ使用量とパフォーマンスの間のトレードオフとして8MBが使用されます。ピースがS3オブジェクト(ファイル)に変換されるとき、コマンドは10,000ピースに制限されます。これにより、作成される単一のS3オブジェクト(ファイル)のサイズは事実上80ギガバイトに制限されます。

解決策は、関連するパス名を持つオブジェクト(ファイル)のリストを、エクスポートまたはロード操作のための単一ファイルとして自動的に処理するメカニズムを提供することです。コネクタは“/"、“F"、連番の順に追加します。そのため、要求されたS3オブジェクトの名前で作成された「明白な」ディレクトリがあります。この「明白な」ディレクトリ内のファイルの名前は、F000001F000002F000003などです。これにより、データベースから任意に大きな結果セットを処理できるという問題が解決されます。「パーツ」の接尾辞はあらかじめ定義されており、上書きすることはできません。

出力が80ギガバイトを超える可能性がある場合、S3SinglePartFileパラメータをfalseにして、一連の番号付きファイルを作成できるようにします。S3SinglePartFileのデフォルト値は"false"です。

次のシナリオでは、S3SinglePartFileパラメータを"true"に設定できます。
  • 小規模データセットを使用したテスト
  • 保存する結果セットが10,000*buffersizeよりも確実に小さくなることを顧客が確信している場合の実働

パーツ(F000001、F000002など)に分割されていない任意のサイズのS3オブジェクト(ファイル)を読み取るときは、S3SinglePartFileをtrueに設定する必要があります。

S3Sse S3にあるS3オブジェクトのデータは、S3に書き込むアプリケーションがサーバー側の暗号化を要求しない限り、暗号化されません。

S3Sseは任意選択のパラメータです。

Teradata DatabaseからAmazon S3にデータをインポートするとき初期化文字列に'S3Sse=True'を指定することで、Teradata Access Module for Amazon S3がサーバー側暗号化をリクエストできるようにします。