17.10 - 例: MANIFESTFILEオプションの使用 - Advanced SQL Engine - Teradata Database

Teradata Vantage™ - Native Object Store 入門ガイド

Product
Advanced SQL Engine
Teradata Database
Release Number
17.10
Release Date
2021年7月
Content Type
プログラミング リファレンス
Publication ID
B035-1214-171K-JPN
Language
日本語 (日本)

MANIFESTFILEオプションを使用して、外部ストレージに格納されているオブジェクトのパスをリストするマニフェスト ファイルを作成します。MANIFESTFILEは、指定された場所にある外部オブジェクト ストアにマニフェスト ファイルを作成します。

  1. 基準に一致するすべての行を外部オブジェクト ストアに書き込み、外部ストレージに格納されているオブジェクトのパスをリストするマニフェスト ファイルを作成します。
    SELECT * FROM WRITE_NOS (
    ON ( SELECT * FROM RiverFlowPerm WHERE DateTime = '2018-06-27 00:00' )
    USING
    LOCATION('YOUR-OBJECT-STORE-URI/20180627/ManifestFile/')
    AUTHORIZATION(MyAuthObj_Write)
    STOREDAS('PARQUET')
    MANIFESTFILE('YOUR-OBJECT-STORE-URI/20180627/ManifestFile/manifest1.json')
    ) AS d;
    

    YOUR-OBJECT-STORE-URI/20180701/ManifestFile/のLOCATIONを、データを書き込む外部オブジェクト ストアのURIに置き換えます。

    YOUR-OBJECT-STORE-URI/20180701/ManifestFile/manifest1.jsonのMANIFESTFILEの場所を、外部オブジェクト ストアのマニフェスト ファイルのURIに置き換えます。

    結果は次のようになります。

         NodeId          33
          AmpId           0
       Sequence                    1
     ObjectName /S3/s3.amazonaws.com/iewritenostest/20180627/ManifestFile/object_33_0_1.parquet
     ObjectSize                 1327
    RecordCount                    3
    
         NodeId          33
          AmpId           3
       Sequence                    1
     ObjectName /S3/s3.amazonaws.com/iewritenostest/20180627/ManifestFile/object_33_3_1.parquet
     ObjectSize                 1346
    RecordCount                    3
    [...]
  2. 外部オブジェクト ストアのコマンド ラインを使用して、外部ストレージのマニフェスト ファイルを表示できます。

    マニフェスト ファイルに格納されるエントリは、次のようになります。

    {"entries":[{"url":"s3://ie-writenos-bucket/20180701/ManifestFile/object_33_0_1.parquet","meta":{"content_length":2803}},
               {"url":"s3://ie-writenos-bucket/20180701/ManifestFile/object_33_6_1.parquet","meta":{"content_length":2733}},
               {"url":"s3://ie-writenos-bucket/20180701/ManifestFile/object_33_1_1.parquet","meta":{"content_length":3009}},
               {"url":"s3://ie-writenos-bucket/20180701/ManifestFile/object_33_7_1.parquet","meta":{"content_length":2591}},
               {"url":"s3://ie-writenos-bucket/20180701/ManifestFile/object_33_2_1.parquet","meta":{"content_length":2725}}]
    }