17.05 - NOSの機能 - Advanced SQL Engine - Teradata Database

Teradata Vantage™ - Native Object Store 入門ガイド

Product
Advanced SQL Engine
Teradata Database
Release Number
17.05
Release Date
2021年1月
Content Type
プログラミング リファレンス
Publication ID
B035-1214-175K-JPN
Language
日本語 (日本)

NOSでは、以下の操作を実行できます。

  • 外部オブジェクト ストアに格納されているデータを分析する
  • 外部オブジェクト ストアに保存されているCSV、JSON、またはParquet形式データを読み取る
  • Advanced SQL Engineに格納されているリレーショナル データに外部データを結合または集約する
  • 外部オブジェクト ストアにオフロードされたコールド データを問合わせる
  • 1つのSQLリクエストを使用して、外部オブジェクト ストアからデータベースにデータをロードする
  • 外部オブジェクト ストアに(テーブルおよび派生結果からの)Advanced SQL Engineデータを書き込む
外部オブジェクト ストアからのデータの読み取り:
外部テーブル
CREATE TABLE権限を持つユーザーは、データベース内に外部テーブルを作成し、この仮想テーブルを外部ストレージの場所にポイントし、SQLを使用して外部データをビジネスに役立つ形式に変換できます。
Advanced SQL Engineで外部テーブルを使用すると、次のことができます。
  • 外部データをデータベースに読み込む
  • データベースに格納されているデータに外部データを結合する
  • データをフィルタする
  • ビューを使用して、ユーザーに対するデータの表示方法を簡略化する
外部テーブルを介して読み取られたデータは、ディスクに自動的には格納されず、そのクエリーによってのみデータを参照できます。データをデータベースにロードするには、CREATE TABLE AS ...WITH DATAコマンドで外部テーブルにアクセスするか、外部テーブルをソースとして指定してINSERT SELECTリクエストを使用します。
READ_NOS
READ_NOSでは、次のことを実行できます。
  • 外部オブジェクト ストアのインプレース データを使用して、CSVおよびJSON形式のデータに対してアドホック クエリーを実行する
  • オブジェクト ストアのすべてのオブジェクトとパスの構造をリストし、Parquetオブジェクトのスキーマを読み取る
  • Advanced SQL Engineで外部テーブルの作成をバイパスする
  • 選択参照がREAD_NOSのINSERT SELECTを使用してデータベースにデータをロードする

外部オブジェクト ストアへのデータの書き込み:

WRITE_NOS
WRITE_NOSを使用すると、データベース テーブルから外部オブジェクト ストアにデータを書き込み、Parquet形式で格納できます。WRITE_NOSによって格納されたデータは、外部テーブルを使用して問合わせできます。

WRITE_NOSでは、以下のことを実行できます。

  • 選択した列またはすべての列をAdvanced SQL Engineテーブルから、または派生した結果から抽出し、Parquetデータ形式で外部オブジェクト ストアに書き込みます。
  • Teradataでサポートされている外部オブジェクト ストア プラットフォームに書き込みます。

サポートされている外部オブジェクト ストア プラットフォーム

  • Amazon S3
  • Microsoft Azure Blobストレージ
  • Azure Data Lake Storage Gen2
  • Google Cloud Storage

サポートされる圧縮形式

外部データは、圧縮形式のオブジェクトに含まれることもあります。その場合、データはAdvanced SQL Engine内で解凍されますが、送信前にオブジェクト ストアで復号化が完了した後に限られます。GZIPはJSONとCSVの両方でサポートされています。SnappyはParquet向けにサポートされています。データベースは、受信ファイルの".gz"接尾辞を認識し、自動的に圧縮解除を実行します。圧縮によって、CPUオーバーヘッドに対する他で必要な帯域幅の減少などの、いくつかのトレードオフが生じる可能性があります。

暗号化

オブジェクト ストアに書き込まれたファイルを暗号化するには、サーバー側の暗号化を使用してすべてのオブジェクトを暗号化するように送信先バケットを設定します。バケット レベルでのサーバー側の暗号化は、WRITE_NOS、READ_NOS、および外部テーブルでサポートされます。

すべてのデータは、データがオブジェクト ストア内での保管時に暗号化されているかどうかに関係なく、TLS暗号化を使用して、Vantageプラットフォームと外部オブジェクト ストアの間で送信されます。