外部テーブルからの外部Parquetデータのフィルタリング - Advanced SQL Engine - Teradata Database

Teradata Vantage™ - Native Object Store 入門ガイド

Product
Advanced SQL Engine
Teradata Database
Release Number
17.05
Published
2021年1月
Language
日本語
Last Update
2021-03-30
dita:mapPath
ja-JP/zws1595641486108.ditamap
dita:ditavalPath
ja-JP/zws1595641486108.ditaval
dita:id
B035-1214
Product Category
Software
Teradata Vantage
Parquetテーブルにはペイロード列がありません。ユーザーは外部テーブルを作成し、Parquet論理データ型を対応するTeradataデータ型にマップします。

この例では、オブジェクト ストアから受信したParquetデータに基づくフィルタリングを示します。外部テーブルの場所にあるオブジェクト ストアのすべてのParquetデータがデータベースに取り込まれ、フィルタ処理されます。

例と結果は、河川流量のサンプル データ セットを示しています。独自のデータを使用するには、テーブル名、列名、および許可オブジェクトを置き換えます。

  1. NOS関連コマンドを実行するには、必要な権限を持つユーザーとしてデータベースにログオンします。
  2. 外部のParquetデータにアクセスするための外部テーブルを作成します。
    CREATE FOREIGN TABLE riverflow_parquet_path
    , EXTERNAL SECURITY DEFINER TRUSTED DefAuth
    (
      Location VARCHAR(2048) CHARACTER SET UNICODE CASESPECIFIC
      , GageHeight2 DOUBLE PRECISION FORMAT '-ZZZ9.99'
      , Flow DOUBLE PRECISION FORMAT '-ZZZZ9.99'
      , site_no BIGINT
      , datetime VARCHAR(16) CHARACTER SET UNICODE CASESPECIFIC
      , Precipitation DOUBLE PRECISION FORMAT '-ZZZ9.99'
      , GageHeight DOUBLE PRECISION FORMAT '-ZZZ9.99'
    )
    USING (
        LOCATION ('YOUR-STORAGE-ACCOUNT')
        PATHPATTERN ('$data/$siteno/$year/$month/$day')
        STOREDAS ('PARQUET')
    ) NO PRIMARY INDEX
    , PARTITION BY COLUMN;

    サンプルの河川流量データ セットの信頼証明と場所の値については、例の変数置換を参照してください。

  3. 外部テーブルを使用して、外部ストレージからのParquetデータの特定の列に対してフィルタ処理します。
    SELECT TOP 2 GageHeight TheGageHeight
    , Flow TheFlow
    FROM riverflow_parquet_path
    WHERE site_no = '09394500';

    結果:

    TheGageHeight    TheFlow
    -------------  ---------
             5.56      31.20
             4.68       0.00