データのインポートについて - Access Module

次の図は、Teradata Parallel Transporterロード オペレータを通して、Teradata Access Module for Kafkaがデータベースにデータをインポートする場合のデータの流れを示しています。この図では、データ生産者、Kafkaサーバー、Teradata Parallel Transporterロード オペレータがそれぞれ別のシステム上に示されています。しかし、これらのエンティティが同じシステム上にある場合もあります。

1. データ生産者は、入力データをKafkaサーバーの指定されたトピックのパーティションに書き込みます。
2. ソフトウェア コード レベルで、Teradata Access Module for Kafkaがサード パーティのオープン ソース共有ライブラリであるlibrdkafkaのAPIを使用して、Kafkaサーバーからメッセージを取り出します。
3. Teradata Parallel Transporter DataConnectorオペレータが、Teradata Access Module for Kafkaからメッセージを取り出すための命令シーケンスを開始します。

   この命令シーケンスには、一般にアクセス モジュールのInitialize(初期化)、File Open(ファイルを開く)、File Read(ファイルの読み取り)、File Get Position(ファイル位置の取得)、File Close(ファイルを閉じる)、Shutdown(シャットダウン)などが含まれます。

4. Teradata Parallel TransporterのDataConnectorオペレータは、Teradata Parallel Transporterのロード オペレータにデータを転送します。
5. Teradata Parallel Transporterのロード オペレータがデータを処理し、データベース内のテーブルに読み込みます。