Parquetの形式について - Advanced SQL Engine - Teradata Database

外部Parquetデータを読み取る場合、サポートされるParquetページの最大サイズは16 MBです。

NOSを使用すると、最大レコード サイズは16,776,192バイトです。

• レコードがすべて文字データで構成されている場合、各文字セットの制限は次のとおりです。
  • UNICODEの場合、16,776,192バイトは8,388,096文字に相当します。
  • LATINの場合、16,776,192バイトは16,776,192文字に相当します。

レコードの一部のデータがバイナリである場合、最大文字数は比例して減少します。

Parquetテーブルにはペイロード列がありません。ユーザーは外部テーブルを作成し、Parquet論理データ型を対応するTeradataデータ型にマップします。

Redshiftはマニフェスト ファイルでサポートされている形式です。

Parquetの形式の制限:

• READ_NOSを使用することで、RETURNTYPE('NOSREAD_SCHEMA')によってParquetスキーマを表示できます。これは、Parquetデータのスキーマが事前に判明していない場合の外部テーブル作成に有用です。
  FULLSCANオプションを使用する場合は、NOSREAD_SCHEMAではFULLSCANを使用できないので、NOSREAD_PARQUET_SCHEMAを使用し続けます。
• STRUCT、MAP、LISTおよびENUMなどの特定の複合データ型はサポートされていません。
• STRUCTデータ型のサポートは使用できないため、ネストされたParquetオブジェクト ストアはNOSで処理できません。

次の例では、外部のParquetデータを次の形式で使用します。

message schema {
  optional double GageHeight2;
  optional double Flow;
  optional int64 site_no;
  optional binary datetime (UTF8);
  optional double Precipitation;
  optional double GageHeight;
}

サポートされるParquet形式については、Parquet外部ファイルを参照してください。