フラット ファイルの書き込みとアクセス モジュールとのインターフェースに加え、DataConnectorオペレータはHadoopファイルおよびテーブルに書き込むこともできます。 次のテーブルでは、DataConnectorオペレータがデータをデータ ストリームからHadoopファイルおよびテーブルに移動するために使用できる2つのインターフェースについて簡単に説明し、比較します。
| インターフェース | 説明 |
|---|---|
| HDFS API | HDFS API (Hadoop Distributed File System Application Programming Interface)を介したHadoopファイルへのアクセスを提供します。 HDFSは、いくつかの小さな制限をともなうPOSIX互換ファイル システムです。 ファイル更新はサポートされておらず、切り捨てモードまたは追加モードでのファイルの書き込みのみサポートされています。 HadoopソフトウェアはJavaで記述され、HDFS APIはJava JNIインターフェースで、C/C++プログラムによってHDFSファイルを直接読み取りおよび書き込むため、想定されている標準posixファイル システム インターフェースをすべて示します。 Data Connectorプロデューサおよび Consumerオペレータは更新され、HDFS APIを使用してHDFSファイル システムに直接アクセスできるようになりました。 すべての標準Data Connectorファイル システム機能がサポートされています。 |
| "TDCH-TPT | Teradata Connector for HadoopまたはTDCHを介したHadoopファイルおよびテーブルへのアクセスを提供します。 TDCHはMapReduceフレームワークの分散型の性質を利用して、大量のデータを同時にHadoopファイルおよびテーブルからDataConnectorオペレータに転送します。 TDCH-TPTインターフェースを使用して、TPTユーザーは様々なHadoop固有形式のHDFSファイル、Hiveテーブル、 Hcatテーブルの読み込みと書き込みを行なうことができます。 このインターフェースはデータの読み取りと書き込みをTDCHに依存しているため、従来のDataConnector属性の多くはサポートされません。 |
詳細については、<Teradata Parallel Transporterリファレンス、B035-2436>の「Hadoopのファイルとテーブルの処理」のセクションを参照してください。
GZIPファイルとZIPファイルはHadoop/HDFSではサポートされていません。
HDFS処理を有効にするには、以下の属性をData Connectorコンシューマまたはプロデューサに追加するだけです。HadoopHost = 'default’