17.10 - DataConnectorオペレータを使用したHadoopのファイルおよびテーブルの書き込み - Parallel Transporter

Teradata® Parallel Transporter ユーザー ガイド

Product
Parallel Transporter
Release Number
17.10
Release Date
2021年6月
Content Type
ユーザー ガイド
Publication ID
B035-2445-061K-JPN
Language
日本語 (日本)

フラット ファイルの書き込みとアクセス モジュールとのインターフェースに加え、DataConnectorオペレータはHadoopファイルおよびテーブルに書き込むこともできます。 次のテーブルでは、DataConnectorオペレータがデータをデータ ストリームからHadoopファイルおよびテーブルに移動するために使用できる2つのインターフェースについて簡単に説明し、比較します。

インターフェース 説明
HDFS API HDFS API(Hadoop Distributed File System Application Programming Interface)を使用したHadoopファイルへのアクセスを提供します。HDFSは、いくつかの小さな制約を伴うPOSIX互換ファイル システムです。ファイルの更新はサポートされておらず、切り捨てモードまたは追加モードでのファイルの書き込みのみがサポートされています。HadoopソフトウェアはJavaで記述されていて、HDFS APIは、Java JNIインターフェースであり、HDFSファイルの読み取りおよび書き込みをC/C++プログラムから直接行なうことができるように、想定されている標準POSIXファイル システム インターフェースがすべて公開されています。DataConnectorのプロデューサ オペレータおよびConsumerオペレータは、HDFS APIを使用してHDFSファイル システムに直接アクセスできるように更新されています。すべての標準DataConnectorファイル システム機能がサポートされています。
TDCH-TPT Teradata Connector for HadoopまたはTDCHを使用したHadoopファイルおよびテーブルへのアクセスを提供します。 TDCHはMapReduceフレームワークの分散型の性質を利用して、大量のデータを同時にHadoopファイルおよびテーブルからDataConnectorオペレータに転送します。 TDCH-TPTインターフェースを使用して、TPTユーザーは様々なHadoop固有形式のHDFSファイル、Hiveテーブル、 Hcatテーブルの読み込みと書き込みを行なうことができます。 このインターフェースはデータの読み取りと書き込みをTDCHに依存しているため、従来のDataConnector属性の多くはサポートされません。

詳細については、<Teradata® Parallel Transporterリファレンス, B035-2436>の「Hadoopのファイルとテーブルの処理」セクションを参照してください。

  • GZIPファイルとZIPファイルはHadoop/HDFSではサポートされていません。
  • HDFS処理を有効にするには、以下の属性をData Connectorコンシューマまたはプロデューサに追加するだけです。HadoopHost = 'default’