Avroオブジェクト コンテナ ファイルからのインポート - Advanced SQL Engine - Teradata Database

Teradata Vantage™ - DATASETデータ型

Product
Advanced SQL Engine
Teradata Database
Release Number
17.05
17.00
Published
2020年6月
Language
日本語
Last Update
2021-03-30
dita:mapPath
ja-JP/des1556232910526.ditamap
dita:ditavalPath
ja-JP/des1556232910526.ditaval
dita:id
B035-1198
Product Category
Software
Teradata Vantage

Avro仕様は、バイナリ コード化した複数のAvro値を共通スキーマとともに送信および格納するオブジェクト コンテナ ファイルの形式を定めています。

これらのファイルにはスキーマによって記述された1つのAvroスキーマと1つ以上のバイナリ コード化されたAvro値が含まれているため、オブジェクト コンテナ ファイルのデータは列ベースのスキーマを持つTeradataテーブルのDATASET STORAGE FORMAT AVRO列にマッピングされます。

データベースはAvroContainerSplitテーブル演算子を介してファイルを直接サポートします。次のセクションでは、ファイルからAvroデータをインポートするための一般的なフレームワークについて説明します。

  1. オブジェクト コンテナ ファイルからスキーマを取得します。
  2. ステップ1で取得したスキーマを使用して、新しいCREATE<storage-format-name>SCHEMA DDL文を使用してTeradataシステムにスキーマを作成します。このスキーマは、LATIN文字、UNICODE文字、またはバイト表現でUTF-8として指定できます。
  3. Teradataシステム上に目的の構造に適合するテーブルを作成し、ステップ2で作成したスキーマを使用して列レベルのスキーマを定義したDATASET STORAGE FORMAT AVRO列を含めます。
  4. AvroContainerSplitテーブル演算子を実行して、ステップ3で作成したテーブルにAvro DATASET値をロードします。
ここまでのステップで、任意のアプリケーションがオブジェクト コンテナ ファイルからデータベース テーブルにデータをインポートできるようになります。
列ベースのスキーマを持たないDATASETテーブル列が定義されている場合、そのスキーマはテーブル内の各Avroインスタンスと共に格納されます。