データのエクスポートについて - Access Module

次の図は、オペレータをエクスポートするTeradata Parallel TransporterおよびTeradata Access Module for Kafkaを介してデータベースからKafka Serverにデータをエクスポートする場合の概要を示します。

この図では、Data Consumer、Kafka Server、オペレータをエクスポートするTeradata Parallel Transporter、およびTeradata Access Module for Kafkaがそれぞれ別のシステム上に示されています。しかし、これらのエンティティが同じシステム上にある場合もあります。

1. Teradata Parallel Transporterのエクスポート オペレータは、データベースからデータを取得し、Teradata Parallel TransporterのDataConnectorオペレータに転送します。
2. Teradata Parallel Transporter DataConnectorオペレータは、Teradata Access Module for Kafkaにデータを転送する一連の命令を開始します。

   この命令シーケンスには、アクセス モジュールのInitialize(初期化)、File Open(ファイルを開く)、File Write(ファイルの書き込み)、File Close(ファイルを閉じる)、Shutdown(シャットダウン)などが含まれます。

3. Teradata Access Module for Kafkaは、Kafkaサーバーへの接続に、librdkafka(サードパーティから提供されるオープン ソースの共有ライブラリ)のAPIを使用します。
4. Teradata Access Module for Kafkaが、データベース レコードをメッセージとして組み立て、サードパーティのオープン ソース共有ライブラリであるlibrdkafkaのAPIを使用して、メッセージをKafka Serverに送信します。
5. Kafkaサーバーが、消費のために特定の宛先の指定されたパーティション(トピックと呼ばれる)にこのメッセージを入れます。