17.10 - ジョブ例10: HDFS APIインターフェースを使用したHadoopファイルのロード - Parallel Transporter

Teradata® Parallel Transporter ユーザー ガイド

Product
Parallel Transporter
Release Number
17.10
Release Date
2021年6月
Content Type
ユーザー ガイド
Publication ID
B035-2445-061K-JPN
Language
日本語 (日本)

ジョブの目的

Teradata Parallel Transporterサンプル スクリプトは、5つの行をHadoop HDFSにあるフラット ファイルからデータベース テーブルにロードします。

データ フロー図

以下の図に、ジョブ例10の要素のフロー図を示します。

ジョブ例PTS00029 -- HDFSの読み取りおよびデータベースへのロード

サンプル スクリプト

このジョブに対応するサンプル スクリプトについては、sample/userguideディレクトリの以下のスクリプトを参照してください。

PTS00029: HDFSフラット ファイルの読み取り

使用理由

このジョブは以下のものを使用します。
  • プロデューサとしてのDataConnectorオペレータ テンプレート。これは、明示的なオペレータ定義を要求せずにジョブ変数ファイルで定義されている値を参照してHDFSファイル システムのファイルを読み取ることができるためです。
  • コンシューマとしてのLoadオペレータ テンプレート。これは、大量の行をデータベース テーブルに高速に書き込む際に最も高いパフォーマンスを提供するConsumerオペレータであるためです。