17.10 - NOSの機能 - Advanced SQL Engine - Teradata Database

Teradata Vantage™ - Native Object Store 入門ガイド

Product
Advanced SQL Engine
Teradata Database
Release Number
17.10
Release Date
2021年7月
Content Type
プログラミング リファレンス
Publication ID
B035-1214-171K-JPN
Language
日本語 (日本)

NOSでは、以下の操作を実行できます。

  • 外部オブジェクト ストアに格納されているデータを分析する
  • 外部オブジェクト ストアからCSV、JSON、またはParquet形式のデータを読み取る
  • Advanced SQL Engineに格納されているリレーショナル データに外部データを結合または集約する
  • 外部オブジェクト ストアにオフロードされたコールド データを問合わせる
  • 1つのSQLリクエストを使用して、外部オブジェクト ストアからデータベースにデータをロードする
  • Advanced SQL Engineデータを外部オブジェクト ストアに書き込む。書き込まれるデータは、テーブル、派生的な結果、別のオブジェクト ストア、QueryGridフェデレーテッド クエリーなどから取得できます。
外部オブジェクト ストアからデータを読み取ります。
外部テーブル
CREATE TABLE権限を持つユーザーは、データベース内に外部テーブルを作成し、この仮想テーブルを外部ストレージの場所にポイントし、SQLを使用して外部データをビジネスに役立つ形式に変換できます。
Advanced SQL Engineで外部テーブルを使用すると、次のことができます。
  • 外部データをデータベースに読み込む
  • データベースに格納されているデータに外部データを結合する
  • データをフィルタする
  • ビューを使用して、ユーザーに対するデータの表示方法を簡略化する
外部テーブルを介して読み取られたデータは、ディスクに自動的には格納されず、そのクエリーによってのみデータを参照できます。データをデータベースにロードするには、以下のコマンドを使用して外部テーブルにアクセスします: CREATE TABLE AS ... WITH DATA、CREATE TABLE AS … FROM READ_NOS、INSERT ... SELECT。
READ_NOS
READ_NOSでは、次のことを実行できます。
  • 外部オブジェクト ストアのインプレース データを使用して、あらゆるデータ形式でアドホック クエリーを実行する
  • オブジェクト ストアのすべてのオブジェクトとパス構造を一覧表示する
  • オブジェクト ストアを一覧表示する
  • データのスキーマを検出する
  • CSV、JSON、Parquetデータを読み取る
  • Advanced SQL Engineで外部テーブルの作成をバイパスする
  • 選択参照がREAD_NOSのINSERT … SELECTを使用してデータベースにデータをロードする
  • 外部テーブルを使用して、READ_NOSによって保存されたデータへのクエリーを実行する

外部オブジェクト ストアにデータを書き込みます。

WRITE_NOS
WRITE_NOSを使用すると、データベース テーブルから外部オブジェクト ストレージにデータを書き込み、Parquet形式で格納できます。WRITE_NOSによって格納されたデータに、外部テーブルとREAD_NOSを使用してクエリーを実行できます。

WRITE_NOSでは、以下のことを実行できます。

  • 選択した列またはすべての列をAdvanced SQL Engineテーブルから、または派生した結果から抽出し、Parquetデータ形式で外部オブジェクト ストアに書き込みます。
  • Amazon S3などTeradataでサポートされる外部オブジェクト ストレージに書き込みを行なう
  • 選択参照がWRITE_NOSのINSERT ... SELECTを使用してデータベースにデータをロードする
  • 外部テーブルを使用して、WRITE_NOSによって格納されたデータにクエリーを実行する

サポートされる外部オブジェクト ストア プラットフォーム

本ガイドの印刷時点で、次の外部オブジェクト ストレージ プラットフォームがサポートされます。

  • Amazon S3
  • Microsoft Azure Blobストレージ
  • Azure Data Lake Storage Gen2
  • Google Cloud Storage
  • Hitachi Content Platform
  • MinIO
  • Dell EMC/ECS
  • NetApp StorageGRID
  • IBM Cloud Object Storage(IBM COS)

サポートされる圧縮形式

外部データは、圧縮形式でオブジェクトから到着する場合があります。外部データは、圧縮形式のオブジェクトに含まれることもあります。その場合、データはAdvanced SQL Engine内で解凍されますが、送信前にオブジェクト ストアで復号化が完了した後に限られます。GZIPはJSONとCSVの両方でサポートされています。SnappyはParquet向けにサポートされています。データベースは、受信ファイルの".gz"接尾辞を認識し、自動的に圧縮解除を実行します。圧縮によって、CPUオーバーヘッドに対する他で必要な帯域幅の減少などの、いくつかのトレードオフが生じる可能性があります。GZIPは、 JSONとCSVの両方でサポートされている唯一の圧縮形式です。SnappyはParquetでサポートされています。データベースは、受信ファイルの「.gz」サフィックスを認識し、自動的に解凍を実行します。圧縮は、CPUオーバーヘッドと必要な帯域幅の削減など、いくつかのトレードオフをもたらす可能性があることに注意してください。

Encryption

オブジェクト ストアに書き込まれたファイルを暗号化するには、サーバー側の暗号化を使用してすべてのオブジェクトを暗号化するように送信先バケットを設定します。バケット レベルでのサーバー側の暗号化は、WRITE_NOS、READ_NOS、および外部テーブルでサポートされます。

すべてのデータは、データがオブジェクト ストア内での保管時に暗号化されているかどうかに関係なく、TLS暗号化を使用して、Vantageプラットフォームと外部オブジェクト ストアの間で送信されます。