17.05 - 外部テーブルからの外部Parquetデータのフィルタリング - Advanced SQL Engine - Teradata Database

Teradata Vantage™ - Native Object Store 入門ガイド

Product
Advanced SQL Engine
Teradata Database
Release Number
17.05
Release Date
2021年1月
Content Type
プログラミング リファレンス
Publication ID
B035-1214-175K-JPN
Language
日本語 (日本)
Parquetテーブルにはペイロード列がありません。ユーザーは外部テーブルを作成し、Parquet論理データ型を対応するTeradataデータ型にマップします。

この例では、オブジェクト ストアから受信したParquetデータに基づくフィルタリングを示します。外部テーブルの場所にあるオブジェクト ストアのすべてのParquetデータがデータベースに取り込まれ、フィルタ処理されます。

例と結果は、河川流量のサンプル データ セットを示しています。独自のデータを使用するには、テーブル名、列名、および許可オブジェクトを置き換えます。

  1. NOS関連コマンドを実行するには、必要な権限を持つユーザーとしてデータベースにログオンします。
  2. 外部のParquetデータにアクセスするための外部テーブルを作成します。
    CREATE FOREIGN TABLE riverflow_parquet_path
    , EXTERNAL SECURITY DEFINER TRUSTED DefAuth
    (
      Location VARCHAR(2048) CHARACTER SET UNICODE CASESPECIFIC
      , GageHeight2 DOUBLE PRECISION FORMAT '-ZZZ9.99'
      , Flow DOUBLE PRECISION FORMAT '-ZZZZ9.99'
      , site_no BIGINT
      , datetime VARCHAR(16) CHARACTER SET UNICODE CASESPECIFIC
      , Precipitation DOUBLE PRECISION FORMAT '-ZZZ9.99'
      , GageHeight DOUBLE PRECISION FORMAT '-ZZZ9.99'
    )
    USING (
        LOCATION ('YOUR-STORAGE-ACCOUNT')
        PATHPATTERN ('$data/$siteno/$year/$month/$day')
        STOREDAS ('PARQUET')
    ) NO PRIMARY INDEX
    , PARTITION BY COLUMN;

    サンプルの河川流量データ セットの信頼証明と場所の値については、例の変数置換を参照してください。

  3. 外部テーブルを使用して、外部ストレージからのParquetデータの特定の列に対してフィルタ処理します。
    SELECT TOP 2 GageHeight TheGageHeight
    , Flow TheFlow
    FROM riverflow_parquet_path
    WHERE site_no = '09394500';

    結果:

    TheGageHeight    TheFlow
    -------------  ---------
             5.56      31.20
             4.68       0.00