以下に、Teradata Access Module for Kafkaを使用してデータのロードとエクスポートを行なうための初期化文字列を示します。
初期化文字列は、空白で区切られた一連のキーワードと値のペアから構成されます。各キーワードの前にはハイフンが付けられます。キーワードは大文字と小文字を区別する必要はありません。値は整数または文字列です。必要に応じて、ファイルにキーワードを指定できます。この方法についての詳細は、キーワードPARAMFILEについての下記の説明を参照してください。
| 構文要素 | 説明 |
|---|---|
| -ADD_LINE_FEED | この任意選択のパラメータは、'Y'または'N'のいずれかを受け入れます。初期化文字列に-ADD_LINE_FEED=Yが指定されている場合、Kafkaアクセス モジュールはKafkaサーバーから受信したメッセージに改行文字を付加します。 |
| -BATCHMODE | このパラメータは、インポート シナリオに適用されます。-BATCHMODE=Yの場合、Kafka Axsmodはバッチでメッセージを取り出します。それ以外の場合は、すべての読み取りリクエストで単一のメッセージを取り出します。 |
| -BLOCKSIZE | データ転送操作のバイト数で示したブロック サイズ。nは1000バイトから16MBの間にできます。 block_sizeパラメータを指定しない場合、デフォルトでは1MBです。 |
| -BROKERS | Kafkaは、1つまたは複数のサーバーのクラスタです。各サーバーはブローカーと呼ばれます。このパラメータは、リーダー ブローカーのbroker_ip_address:portを取ります。複数ブローカー環境では、","の分離記号を使用して複数のブローカーを指定できます。例えば、broker1_ip_address:port,broker2_ip_address:port,broker3_ip_address:portは-BROKERSキーワードの有効な値です。 |
| -CLOSEQUOTE | この任意選択のパラメータは、終了引用符の文字が開始引用符の文字と異なる場合に、終了引用符を指定します。 |
| -CONFIG | このパラメータを使用すると、サーバー側で構成プロパティを設定できます。例えば、初期化文字列に-CONFIG compression.codec=gzipが指定されている場合、エクスポート シナリオではgzipメッセージ圧縮が有効になり、インポート シナリオではgzip圧縮からのメッセージの圧縮解除が有効になります。 |
| -DEFERRED_MODE | この任意選択のパラメータは、'Y'または'N'のいずれかを受け入れます。-DEFERRED_MODE=Yによって遅延モードが指定されます。Kafkaアクセス モジュールは、Kafkaサーバーから受信したメッセージが含まれるLOBオブジェクトを作成し、実際のメッセージの代わりにこのLOBオブジェクトの名前をTPT DCオペレータに渡します。これにより、TPTロード オペレータはLOBオブジェクトを遅延モードでロードすることができます。 |
| -LOBDIR | この任意選択のパラメータは、-DEFERRED_MODEパラメータとともに使用して、LOBオブジェクトを格納するディレクトリを指定することができます。 |
| -MODE | アプリケーションは、データ消費者またはデータ生産者になることができます。-MODEはアプリケーション カテゴリを指定します。次の2つの値を使用できます。
|
| -MSGLIMIT | このパラメータはインポート シナリオで適用することができます。msglimitを使用すると、ユーザーは、特定のトピックまたはトピックのパーティションから読み取られるメッセージ数を指定することができます。 msglimitは、トピック レベル(または)パーティション レベルで適用することができます。 トピック レベルのmsglimit トピック レベルでmsglimitを適用する場合は、初期化文字列に-msglimit <n>パラメータを含める必要があります。 例えば、次のように指定します。
-msglimit 500 AccessModuleKafkaは、トピック レベルで500件のメッセージを読み取ってから終了します。 パーティション レベルのmsglimit パーティション レベルでmsglimitを適用する場合は、次の構文を使用する必要があります。
-P p1(n1),p2(n2),p3(n3)
Where p1,p2,p3 denotes partition number
n1,n2,n3 denotes msglimit for the partitions.
ex: -P 0(200),1(500),2(400)
AccessModuleKafka will read 200 messages from partition 0.
AccessModuleKafka will read 500 messages from partition 1.
AccessModuleKafka will read 400 messages from partition 2.
メッセージあたりの行数が2行以上の場合、バッチ モードまたはバッチ モード以外でデータが失われる可能性があるため、RowsPerInstanceとAccessModuleKafkaを一緒に使用しないでください。 Kafkaアクセス モジュールの-MSGLIMIT機能とTPTのRowsPerInstance機能は、同様の機能を提供し、互いに互換性がないため、一緒に使用することは推奨されていません。 |
| -OFFSET_STORE_DIRECTORY | この任意選択のパラメータは、コンシューマ モードでのみ適用できます。各パーティションでは、-OSDパラメータで指定されたディレクトリに<TopicName>-<PartitionNumberという名前のオフセット ファイルが作成されます。Kafka Axsmodが読み取る各パーティションの最後のオフセットは、対応するオフセット ファイルに書き込まれます。2番目のジョブにオフセット ファイルを指定できます。これにより、最初のジョブが中断したところで2番目のジョブが次のオフセットから読み込むことができます。 |
| -OPENQUOTE | この任意選択のパラメータは、開始引用符の文字が終了引用符の文字と異なる場合に、開始引用符を指定します。 |
| -PARAMFILE | この任意選択のパラメータは、他のパラメータを含んでいるファイルのオブジェクト名を指定します。例: -paramfile myParmFile
|
| -PARTITION | メッセージ待ち行列はトピック下で管理され、パーティションと呼ばれます。このパラメータはパーティション番号を取ります。例えば、初期化文字列に-PARTITION 0が指定されている場合、Kafka Axsmodはパーティション0からのみ読み取ります。-PARTITION 0,1,2,3が指定されている場合、Kafka Axsmodはトピック下のパーティション0、パーティション1、パーティション2、パーティション3から読み取ります。 別の構文も使用できます。-PARTITION [0-3]を指定することで、トピック下のパーティション0、パーティション1、パーティション2、パーティション3から読み取るようにKafka Axsmodに命令することができます。 |
| -QUOTE | この任意選択のパラメータは、引用符の文字を指定します。Kafkaアクセス モジュールは、Kafkaサーバーから受信したメッセージを指定された引用符で囲みます。 |
| -RWAIT | Kafka Serverからのメッセージ エラーの終了を受信したときに、KAFKA AXSMODがデータの読み込みを待機する秒数です。 許容範囲: 1～600秒を入力するか、無制限の待機時間として-1を入力します。 キーワード-WAITは廃止されたので、-WAITの代わりに-RWAITを使用します。 |
| -SHOWP | サーバーのプロパティを表示します。作業ディレクトリにpropsという名前のファイルが作成されます。propsファイルには、構成プロパティとその説明が含まれています。propsファイルに記載される構成プロパティは、Teradata Access Module for Kafkaの-CONFIGオプションを使用して設定できます。 |
| -SYNCMODE | このパラメータは、エクスポート シナリオで適用されます。-SYNCMODE=Yの場合、Kafka Axsmodは同期生産者になります。それ以外の場合は非同期生産者になります。 |
| -TIMEOUT | Librdkafkaライブラリによって提供されるAPIのタイムアウト時間を設定します。デフォルト値は100msです。 |
| -TOPIC | Kafkaサーバーで保持されているトピックまたはフィードの名前を取得します。 |
| -TRACELEVEL | ログ ファイルにポストされる詳細レベルを設定し、次の条件に該当します。
|