17.10 - Parquetの形式について - Advanced SQL Engine - Teradata Database

Teradata Vantage™ - Native Object Store 入門ガイド

Product
Advanced SQL Engine
Teradata Database
Release Number
17.10
Release Date
2021年7月
Content Type
プログラミング リファレンス
Publication ID
B035-1214-171K-JPN
Language
日本語 (日本)

外部Parquetデータを読み取る場合、サポートされるParquetページの最大サイズは16 MBです。

NOSを使用すると、最大レコード サイズは16,776,192バイトです。

  • レコードがすべて文字データで構成されている場合、各文字セットの制限は次のとおりです。
    • UNICODEの場合、16,776,192バイトは8,388,096文字に相当します。
    • LATINの場合、16,776,192バイトは16,776,192文字に相当します。

レコードの一部のデータがバイナリである場合、最大文字数は比例して減少します。

Parquetテーブルにはペイロード列がありません。ユーザーは外部テーブルを作成し、Parquet論理データ型を対応するTeradataデータ型にマップします。

Redshiftはマニフェスト ファイルでサポートされている形式です。

Parquetの形式の制限:

  • READ_NOSを使用することで、RETURNTYPE('NOSREAD_SCHEMA')によってParquetスキーマを表示できます。これは、Parquetデータのスキーマが事前に判明していない場合の外部テーブル作成に有用です。
    FULLSCANオプションを使用する場合は、NOSREAD_SCHEMAではFULLSCANを使用できないので、NOSREAD_PARQUET_SCHEMAを使用し続けます。
  • STRUCT、MAP、LISTおよびENUMなどの特定の複合データ型はサポートされていません。
  • STRUCTデータ型のサポートは使用できないため、ネストされたParquetオブジェクト ストアはNOSで処理できません。

次の例では、外部のParquetデータを次の形式で使用します。

message schema {
  optional double GageHeight2;
  optional double Flow;
  optional int64 site_no;
  optional binary datetime (UTF8);
  optional double Precipitation;
  optional double GageHeight;
}

サポートされるParquet形式については、Parquet外部ファイルを参照してください。