2.16 - Spark SQL-Teradata間の外部サーバーの構成 - Teradata QueryGrid

Teradata® QueryGrid™ インストールとユーザー ガイド

Product
Teradata QueryGrid
Release Number
2.16
Release Date
2021年6月
Content Type
インストール
ユーザー ガイド
構成
管理
Publication ID
B035-5991-061K-JPN
Language
日本語 (日本)
Teradata QueryGridのSpark SQL開始コネクタには、データ ソースAPIフレームワークが使用されます。データ ソースAPIを使用すると、Spark SQLから他のシステムに格納されているデータにアクセスできます。データ ソースAPIフレームワークを使用して作成されたSpark SQLテーブルは、非ネイティブ テーブルと呼ばれます。

データ ソースAPIはデフォルトではテーブル レベルで動作するため、データベース レベルで動作するTeradata外部サーバーやPrestoカタログとは異なり、リモート テーブルごとに1つの非ネイティブ テーブルを作成する必要があります。ただし、非ネイティブ テーブルを操作するときに生じる制限および不便の一部を解消する外部サーバー ライブラリが、Spark SQLコネクタの一部として含まれています。Spark SQLイニシエータを操作するには、外部サーバー ライブラリを使用することを推奨します。このセクションに含まれているSpark SQLイニシエータのすべての例は、外部サーバー ライブラリをベースとしています。外部サーバー ライブラリの詳細については、Spark SQLイニシエータ コネクタの外部サーバー ライブラリAPIリファレンスを参照してください。

次のステップでは、Spark SQL - TargetConnector間で使用するための外部サーバーの構成例を示します(TargetConnectorはターゲット コネクタの任意のタイプ)。
  1. QueryGridポートレットでSpark SQLからTeradataへのリンクのリンク プロパティを設定します。
  2. Scala REPLにログオンします。
    詳しくはScala REPLの起動を参照してください。
  3. 次のように外部サーバー ライブラリをインポートして、外部サーバー オブジェクトを作成します。
    scala> import tdqg.ForeignServer
    import tdqg.ForeignServer
     
    scala> val s1 = new ForeignServer("spark_to_teradata_link","active","fs1")
    s1: tdqg.ForeignServer = tdqg.ForeignServer@4eb73cc8
  4. 次のように外部サーバーを使用してリモート スキーマを表示し、結果を確認します。
    scala> s1.showSchemas
    +---------------+
    |DATABASE_NAME  |
    +---------------+
    |default	|
    |user1	|
    +---------------+