17.05 - Parquetの形式について - Advanced SQL Engine - Teradata Database

Teradata Vantage™ - Native Object Store 入門ガイド

Product
Advanced SQL Engine
Teradata Database
Release Number
17.05
Release Date
2021年1月
Content Type
プログラミング リファレンス
Publication ID
B035-1214-175K-JPN
Language
日本語 (日本)

外部Parquetデータを読み取る場合、サポートされるParquetページの最大サイズは16 MBです。

NOSを使用すると、最大レコード サイズは16,776,192バイトです。

  • レコードがすべて文字データで構成されている場合、各文字セットの制限は次のとおりです。
    • UNICODEの場合、16,776,192バイトは8,388,096文字に相当します。
    • LATINの場合、16,776,192バイトは16,776,192文字に相当します。

レコードの一部のデータがバイナリである場合、最大文字数は比例して減少します。

CSVやJSONとは異なり、Parquetテーブルにはペイロード列がありません。ユーザーは外部テーブルを作成し、Parquet論理データ型を対応するTeradataデータ型にマップします。

Redshiftはマニフェスト ファイルでサポートされている形式です。

Parquetの形式の制限:

  • READ_NOSテーブル演算子は、Parquetをサポートしていません。ただし、READ_NOSを使用して、RETURNTYPE('NOSREAD_PARQUET_SCHEMA')でParquetスキーマを表示することができます。これは、Parquetデータのスキーマが事前にわからない場合に、外部テーブルを作成する際に役立ちます。
  • STRUCT、MAP、LISTおよびENUMなどの特定の複合データ型はサポートされていません。
  • STRUCTデータ型のサポートは使用できないため、ネストされたParquetオブジェクト ストアはNOSで処理できません。

次の例では、外部のParquetデータを次の形式で使用します。

message schema {
  optional double GageHeight2;
  optional double Flow;
  optional int64 site_no;
  optional binary datetime (UTF8);
  optional double Precipitation;
  optional double GageHeight;
}

サポートされるParquet形式については、Parquet外部ファイルを参照してください。