初期化文字列 - Access Module

Teradata® Tools and Utilities Access Moduleリファレンス
Product
Access Module
Release Number
17.10
Published
2021年10月
Language
日本語
Last Update
2021-11-16
dita:mapPath
ja-JP/uur1608578381725.ditamap
dita:ditavalPath
ja-JP/obe1474387269547.ditaval
dita:id
B035-2425
Product Category
Teradata Tools and Utilities

以下に、Teradata Access Module for Kafkaを使用してデータのロードとエクスポートを行なうための初期化文字列を示します。

初期化文字列は、空白で区切られた一連のキーワードと値のペアから構成されます。各キーワードの前にはハイフンが付けられます。キーワードは大文字と小文字を区別する必要はありません。値は整数または文字列です。必要に応じて、ファイルにキーワードを指定できます。この方法についての詳細は、キーワードPARAMFILEについての下記の説明を参照してください。

空白文字が初期化文字列パラメータの値の一部である場合は、初期化文字列パラメータの値を二重引用符で囲みます。
初期化文字列



構文要素 説明
-ADD_LINE_FEED この任意選択のパラメータでは、'Y'または'N'を指定できます。初期化文字列で-ADD_LINE_FEED=Yが指定されている場合、Kafkaアクセス モジュールはKafkaサーバーから受信したメッセージの末尾に改行文字を付加します。
-BATCHMODE このパラメータは、インポート シナリオに適用されます。-BATCHMODE=Yの場合、Kafka Axsmodはバッチでメッセージを取り出します。それ以外の場合は、すべての読み取りリクエストで単一のメッセージを取り出します。
-BLOCKSIZE データ転送操作のバイト数で示したブロック サイズ。nは1000バイトから16MBの間にできます。 block_sizeパラメータを指定しない場合、デフォルトでは1MBです。
-BROKERS Kafkaは、1つまたは複数のサーバーのクラスタです。各サーバーはブローカーと呼ばれます。このパラメータは、リーダー ブローカーのbroker_ip_address:portを取ります。複数ブローカー環境では、","の分離記号を使用して複数のブローカーを指定できます。例えば、broker1_ip_address:port,broker2_ip_address:port,broker3_ip_address:portは-BROKERSキーワードの有効な値です。
-CLOSEQUOTE この任意選択のパラメータは、終了引用符の文字が開始引用符の文字と異なる場合に、終了引用符を指定します。
-CONFIG このパラメータを使用すると、サーバー側で構成プロパティを設定できます。例えば、初期化文字列に-CONFIG compression.codec=gzipが指定されている場合、エクスポート シナリオではgzipメッセージ圧縮が有効になり、インポート シナリオではgzip圧縮からのメッセージの圧縮解除が有効になります。
-DEFERRED_MODE この任意選択のパラメータでは、'Y'または'N'を指定できます。-DEFERRED_MODE=Yを指定すると、遅延モードになります。Kafkaアクセス モジュールは、Kafkaサーバーから受信したメッセージが入っているLOBオブジェクトを作成し、実際のメッセージではなくそのLOBオブジェクトの名前をTPT DCオペレータに渡します。そうすることで、TPTのロード オペレータがLOBオブジェクトを遅延モードでロードできるようになります。
-LOBDIR この任意選択のパラメータは、-DEFERRED_MODEパラメータとともに使用して、LOBオブジェクトを格納するディレクトリを指定することができます。
-MODE アプリケーションは、データ消費者またはデータ生産者になることができます。-MODEはアプリケーション カテゴリを指定します。次の2つの値を使用できます。
  • P – プロデューサを表わす
  • C – コンシューマを表わす
-MSGLIMIT このパラメータはインポート シナリオで適用することができます。msglimitを使用すると、ユーザーは、特定のトピックまたはトピックのパーティションから読み取られるメッセージ数を指定することができます。

msglimitは、トピック レベル(または)パーティション レベルで適用することができます。

トピック レベルのmsglimit

トピック レベルでmsglimitを適用する場合は、初期化文字列に-msglimit <n>パラメータを含める必要があります。

例えば、次のように指定します。
-msglimit 500

AccessModuleKafkaは、トピック レベルで500件のメッセージを読み取ってから終了します。

パーティション レベルのmsglimit

パーティション レベルでmsglimitを適用する場合は、次の構文を使用する必要があります。
-P p1(n1),p2(n2),p3(n3)
Where p1,p2,p3 denotes partition number
      n1,n2,n3 denotes msglimit for the partitions.

ex: -P 0(200),1(500),2(400)
AccessModuleKafka will read 200 messages from partition 0.
AccessModuleKafka will read 500 messages from partition 1.
AccessModuleKafka will read 400 messages from partition 2.

メッセージあたりの行数が2行以上の場合、バッチ モードまたはバッチ モード以外でデータが失われる可能性があるため、RowsPerInstanceとAccessModuleKafkaを一緒に使用しないでください。

Kafkaアクセス モジュールの-MSGLIMIT機能とTPTのRowsPerInstance機能は、同様の機能を提供し、互いに互換性がないため、一緒に使用することは推奨されていません。
-OFFSETS これは任意選択のパラメータです。

'-O'または'-OFFSETS'パラメータの値として次のいずれかを指定できます。

  • Stored – Kafka Axsmodは、前回の実行でブローカーに保存されている、最後の消費メッセージのパーティションのオフセットの次のオフセットを、消費するメッセージの開始オフセットとして使用します。
  • beginning – Kafka Axsmodは、パーティションの先頭からメッセージを消費します。前回の実行でブローカーに保存されているパーティションのオフセットは、消費するメッセージの開始オフセットとしては使用されません。
  • end – Kafka Axsmodは、パーティションの末尾からメッセージを消費します。前回の実行でブローカーに保存されているパーティションのオフセットは、消費するメッセージの開始オフセットとしては使用されません。
  • p1(o1),p2(o2),p3(o3) … – 前回の実行でブローカーに保存されているパーティションのオフセットを、消費するメッセージの開始オフセットとして使用するのではなく、消費するメッセージのパーティションでの開始オフセットをユーザーが自由に指定できるようにします。この構文で、p1、p2、p3はパーティション番号を表わしていて、o1、o2、o3は各パーティションでの対応する開始オフセットを表わしています。

このパラメータが初期化文字列で使用されていない場合、デフォルトでは、前回の実行でブローカーに保存されているパーティションのオフセットが、消費するメッセージの開始オフセットとして使用されます。
-OFFSET_STORE_DIRECTORY この任意選択のパラメータはコンシューマ モードでのみ適用できます。このパラメータの値として<Directory Name>または"BROKER"のいずれかを指定できます。-OSDパラメータの値として<Directory Name>が指定されている場合、各パーティションのディレクトリ内に<TopicName>-<PartitionNumber>というオフセット ファイルが作成されます。

Kafka Axsmodによって読み取られた各パーティションの最後のオフセットが、対応するオフセット ファイルに書き込まれます。後続のジョブが、直前のジョブが中断した位置の次のオフセットから読み取ることができるように、後続のジョブでオフセット ファイルを指定することができます。

-OSDパラメータの値として"BROKER"が指定されている場合、Kafka Axsmodによって各パーティションで読み取られた最後のオフセットがBROKERに書き込まれます。ユーザーは初期化文字列で'-OSD BROKER -CG <consumer_group_name>'または'-OSD BROKER -X group. id=<consumer_group_name>'を指定することによって、オフセットをKafkaブローカーに格納するようにKafka Axsmodに指示することができます。ブローカーによるオフセット格納には、コンシューマ グループが存在する必要があります。
-OPENQUOTE この任意選択のパラメータは、開始引用符の文字が終了引用符の文字と異なる場合に、開始引用符を指定します。
-PARAMFILE この任意選択のパラメータでは、他のパラメータが含まれているファイルのオブジェクト名を指定します。次に例を示します。

-paramfile myParmFile

  • パラメータ ファイルの各行には、1つのキーワード(パラメータ)とその値が含まれる。
  • 空の行は無視される。
  • ポンド文字(#)で始まる行は無視される。
  • キーワードは、必ず最初の列で始まる。
-PARTITION メッセージ待ち行列はトピック下で管理され、パーティションと呼ばれます。このパラメータはパーティション番号を取ります。例えば、初期化文字列に-PARTITION 0が指定されている場合、Kafka Axsmodはパーティション0からのみ読み取ります。-PARTITION 0,1,2,3が指定されている場合、Kafka Axsmodはトピック下のパーティション0、パーティション1、パーティション2、パーティション3から読み取ります。

別の構文も使用できます。-PARTITION [0-3]を指定することで、トピック下のパーティション0、パーティション1、パーティション2、パーティション3から読み取るようにKafka Axsmodに命令することができます。
-QUOTE この任意選択のパラメータは、引用符の文字を指定します。Kafkaアクセス モジュールは、Kafkaサーバーから受信したメッセージを指定された引用符で囲みます。
-RWAIT Kafka Serverからのメッセージ エラーの終了を受信したときに、KAFKA AXSMODがデータの読み込みを待機する秒数です。

許容範囲: 1～600秒を入力するか、無制限の待機時間として-1を入力します。

キーワード-WAITは廃止されたので、-WAITの代わりに-RWAITを使用します。
-SHOWP サーバーのプロパティを表示します。作業ディレクトリにpropsという名前のファイルが作成されます。propsファイルには、構成プロパティとその説明が含まれています。propsファイルに記載される構成プロパティは、Teradata Access Module for Kafkaの-CONFIGオプションを使用して設定できます。
-SYNCMODE このパラメータは、エクスポート シナリオで適用されます。-SYNCMODE=Yの場合、Kafka Axsmodは同期生産者になります。それ以外の場合は非同期生産者になります。
-TIMEOUT Librdkafkaライブラリによって提供されるAPIのタイムアウト時間を設定します。デフォルト値は100msです。
-TOPIC Kafkaサーバーで保持されているトピックまたはフィードの名前を取得します。
-TRACELEVEL ログ ファイルにポストされる詳細レベルを設定し、次の条件に該当します。
  • 0 : Disabled - ロギングを実行しない。 これは、トレース レベルが指定されていない場合のデフォルトです。
  • 1: Events – Kafka Axsmodによってアプリケーションから受け取ったイベント/リクエスト。
  • 2: Info – インポートまたはエクスポートされたメッセージの長さとパフォーマンスに関連する情報を提供します。
  • 3: ALL – Teradata Access Module for Kafkaを介して渡されたデータの16進数のダンプを提供します。