フラット ファイルの書き込みとアクセス モジュールとのインターフェースに加え、DataConnectorオペレータはHadoopファイルおよびテーブルに書き込むこともできます。 次のテーブルでは、DataConnectorオペレータがデータをデータ ストリームからHadoopファイルおよびテーブルに移動するために使用できる2つのインターフェースについて簡単に説明し、比較します。
| インターフェース | 説明 |
|---|---|
| HDFS API | HDFS API(Hadoop Distributed File System Application Programming Interface)を使用したHadoopファイルへのアクセスを提供します。HDFSは、いくつかの小さな制約を伴うPOSIX互換ファイル システムです。ファイルの更新はサポートされておらず、切り捨てモードまたは追加モードでのファイルの書き込みのみがサポートされています。HadoopソフトウェアはJavaで記述されていて、HDFS APIは、Java JNIインターフェースであり、HDFSファイルの読み取りおよび書き込みをC/C++プログラムから直接行なうことができるように、想定されている標準POSIXファイル システム インターフェースがすべて公開されています。DataConnectorのプロデューサ オペレータおよびConsumerオペレータは、HDFS APIを使用してHDFSファイル システムに直接アクセスできるように更新されています。すべての標準DataConnectorファイル システム機能がサポートされています。 |
| TDCH-TPT | Teradata Connector for HadoopまたはTDCHを使用したHadoopファイルおよびテーブルへのアクセスを提供します。 TDCHはMapReduceフレームワークの分散型の性質を利用して、大量のデータを同時にHadoopファイルおよびテーブルからDataConnectorオペレータに転送します。 TDCH-TPTインターフェースを使用して、TPTユーザーは様々なHadoop固有形式のHDFSファイル、Hiveテーブル、 Hcatテーブルの読み込みと書き込みを行なうことができます。 このインターフェースはデータの読み取りと書き込みをTDCHに依存しているため、従来のDataConnector属性の多くはサポートされません。 |
詳細については、<Teradata® Parallel Transporterリファレンス, B035-2436>の「Hadoopのファイルとテーブルの処理」セクションを参照してください。
- GZIPファイルとZIPファイルはHadoop/HDFSではサポートされていません。
- HDFS処理を有効にするには、以下の属性をData Connectorコンシューマまたはプロデューサに追加するだけです。HadoopHost = 'default’