初期化文字列 - Access Module

Teradata® Tools and Utilities Access Moduleリファレンス

Product
Access Module
Release Number
17.10
Published
2021年10月
Language
日本語
Last Update
2021-11-16
dita:mapPath
ja-JP/uur1608578381725.ditamap
dita:ditavalPath
ja-JP/obe1474387269547.ditaval
dita:id
B035-2425
Product Category
Teradata Tools and Utilities

Teradata Access Module for Azure Blobを使用してデータをロードおよびエクスポートするための、Teradata Access Module for Azure Blobの初期化文字列のパラメータは次のとおりです。

初期化文字列は、空白で区切られた一連のキーワードと値のペアから構成されます。各キーワードの前にはハイフンが付けられます。キーワードは大文字と小文字を区別する必要はありません。値は整数または文字列です。



さらに2つの必須パラメータ、StorageAccountNameとStorageAccountKeyを、構成ディレクトリのcredentialsファイルに指定する必要があります。これは、性質上、これらのパラメータに格納されている情報が重要だからです。

構文要素 説明
-Container (必須)ロードおよびエクスポート操作に使用するMicrosoft Azure Blob Storageコンテナを指定します。このパラメータは、Teradata Access Module for Azure Blob パラメータの初期化文字列に含める必要があります。
-Prefix (省略可能) このオプションを選択します。このパラメーターの前に-Object文字列が付加され、コンテナー内にパス名が作成されます。エクスポート スクリプトまたは読み込みスクリプトを記述する際の利便性として、このパラメーターは、一連のテーブルのエクスポートまたは読み込み時に変更されない pathname の部分に使用できます。

Microsoft Azure Blob Storageコンテナ内では、ディレクトリを明示的に作成する必要はありません。Microsoft AzureとGUIは、“/”の有無に基づいてオブジェクトのリストを分離しますが、これは単に表示の利便性のためです。

パス名に“/”を使用するためのディレクトリを作成する必要はなく、パス名に“/”が1つ以上あるかどうか、またはその場所は、-Object文字列によります。特に、-Prefixは(使用する場合)“/”を含む必要はなく、または“/”で終了する必要はありません。

-Object (必須)-Prefixを指定した場合、このパラメータの前に追加され、作成されるオブジェクトのパス名が生成されます。

大きな結果セットをサポートするために望ましい操作形態は、このアクセス モジュールによって生成される接尾辞を、指定されたパス名に付加することによって一連のオブジェクトを作成することです。詳細については、後述の-SinglePartFileの説明を参照してください。

-JobProfile (オプション)credentialsファイルはセクションに分割されます。各セクションには括弧で囲まれた見出しが付いています。Jobprofile変数は、これら2つのファイルのそれぞれからセクションを選択します。[default]という名前のセクションが常にあります。このセクションは、Jobprofileが指定されていない場合、または値のデフォルトが明示的にdefaultと示されている場合(-Jobprofile default)に使用されます。
-SinglePartFile (オプション)読み込みまたは書き込み対象となるMicrosoft Azure Blob Storageオブジェクトが、-Objectによって指定された名前を持つ単一のファイルか、-Objectによって命名された「明白な」ディレクトリ内の番号付きファイルのセットかを決定します。上記のように、ディレクトリは実際には存在しませんが、GUIとCLIは“/"に基づいてファイルを分離し、ディレクトリがあるように見せます。

アプリケーションがMicrosoft Azure Blob Storage上にオブジェクトを作成するとき、オブジェクトは最大で50,000個の「ピース」から作成できます。接続が開かれるときに、「ピース」のサイズとSHAハッシュを提示する必要があります。ファイルをディスク上にバッファリングすることは望ましくないので、「ピース」のサイズはバッファのサイズに制限されます。最小ピース サイズ/バッファ サイズは4MBです。デフォルトでは、メモリ使用量とパフォーマンスの間のトレードオフとして4MBが使用されます。ピースがMicrosoft Azure Blob Storageオブジェクト(ファイル)に変換されるとき、コマンドは50,000ピースに制限されます。これにより、作成される単一のMicrosoft Azure Blob Storageオブジェクト(ファイル)のサイズは事実上200ギガバイトに制限されます。

解決方法は、関連するパス名を持つオブジェクト(ファイル)のリストを、エクスポート操作またはロード操作のための単一ファイルとして自動的に処理するメカニズムを提供することです。このアクセス モジュールでは、"/"、"F"、連番が順に付加されます。そのため、要求されているMicrosoft Azure Blob Storageオブジェクトの名前で作成された「見かけ上の」ディレクトリがあり、その「見かけ上の」ディレクトリ内のファイルには、F000001、F000002、F000003という名前が付けられます。こうすることにより、データベースからサイズの大きい任意の結果セットを処理するための問題は完全に解決します。「ピース」の接尾辞は事前定義されていて、オーバーライドすることはできません。

出力が200ギガバイトを超える可能性がある場合、-SinglePartFileパラメータをfalse(デフォルト)にして、一連の番号付きファイルを作成できるようにします。

次のシナリオでは、-SinglePartFileパラメータを"true"に設定できます。
  • 小規模データセットを使用したテスト
  • 保存する結果セットが50,000*buffersizeよりも確実に小さくなることを顧客が確信している場合の実働環境

パーツ(F000001、F000002など)に分割されていない任意のサイズを持つ単一のMicrosoft Azure Blob Storageオブジェクト(ファイル)を読み取るときは、これをtrueに設定する必要があります。

-ConfigDir (オプション)credentialsファイルが置かれている構成ディレクトリを指定します。デフォルトではこのディレクトリは$HOME/azureaxsmodですが、このパラメータで上書きすることができます。
-ConnectionCount (オプション)Microsoft Azure Blob StorageへのTCP接続の数を指定します。指定しないと、デフォルトの10が使用されます。
-BufferCount (オプション)-ConnectionCountで指定されるTCP接続で使用するバッファ数を指定します。接続数の2倍が最小推奨値です。値を指定しない場合、値(2*ConnectionCount)がデフォルトとして使用されます。
-BufferSize (オプション)TCP接続に使用されるバッファのサイズを指定します。デフォルトは4MB(4194304バイト)です。エクスポート操作の場合、バッファ サイズは少なくとも5メガバイト(5MB)が必要です。便宜上、k(1000)、K(1024)、m(1000 * 1000)、M(1024 * 1024)の乗数を使用できます。例えば、デフォルトは4Mまたは4096Kと指定できます。
-Tracelevel ログ ファイルにポストされる詳細レベルを設定し、次のようになります。

0: 無効 - ロギングを実行しない。これは、トレース レベルが指定されていない場合のデフォルトです。

1: イベント – Azure Axsmodによってアプリケーションから受け取ったイベント/リクエスト。

2: 情報 – インポートまたはエクスポートされたブロックの長さとパフォーマンスに関連する情報を提供します。

3: すべてTeradata Access Module for Azure Blobを通過したデータの16進数のダンプを提供します。

StorageAccountName (必須)これは実質的にMicrosoft Azure Blob StorageのユーザーIDです。
StorageAccountKey (必須)これは実質的にMicrosoft Azure Blob Storageのパスワードです。
StorageAccountEndPoint (オプション)Microsoft Azure Blobストレージ エンドポイントを指定します。
-DontSplitRows (オプション)データベースからデータをエクスポートするときに、レコードまたは行が複数のオブジェクト間で分割されるかどうかを指定します。このパラメータは、初期化文字列に'-SinglePartFile false'が指定されている場合に使用できます。このパラメータのデフォルト値は'False'です。

'-DontSplitRows=True'を指定して機能が有効になっている場合、次のレコードのセット全体が収まらない場合は、書き込まれている現在のオブジェクトが閉じられて、そのレコードのセットは次のオブジェクトに書き込まれます。また、gzip圧縮が有効になっている(つまり、ベース オブジェクト名が.gzで終わっている)場合、現在のgzipセッションが閉じられてからオブジェクトが閉じられ、次のオブジェクトに対して新しいgzipセッションが開始されます。その結果、F000000、F000001などのファイルに対して個別にgunzipを使用することができます。圧縮解除されたファイルはレコード境界で開始および終了されるため、リーダーでは各ファイルを個別に検査または処理できます。

-MaxObjectSize (オプション)Azure Blobオブジェクトの最大サイズを指定します。このパラメータは、初期化文字列に'-DontSplitRows=True'が指定されている場合に使用できます。このパラメータのデフォルト値は'BufferSize*PartsPerFile'です。
エクスポート操作では、MaxObjectSizeは32KB(32768バイト)以上である必要があります。利便性のために、次の乗数を使用できます。
  • k (1000)
  • K (1024)
  • m (1000*1000)
  • M (1024*1024)
例えば、値を4Mまたは4096Kと指定できます。