Spark SQL-ターゲット コネクタ間の外部サーバーの構成 - Teradata QueryGrid

Teradata® QueryGrid™ インストールとユーザー ガイド

Product
Teradata QueryGrid
Release Number
2.11
Published
2019年12月
Language
日本語
Last Update
2020-04-13
dita:mapPath
ja-JP/fya1571089961130.ditamap
dita:ditavalPath
ft:empty
dita:id
lfq1484661135852
Teradata QueryGridのSpark SQL開始コネクタには、データ ソースAPIフレームワークが使用されます。データ ソースAPIを使用すると、Spark SQLから他のシステムに格納されているデータにアクセスできます。データ ソースAPIフレームワークを使用して作成されたSpark SQLテーブルは、非ネイティブ テーブルと呼ばれます。

データ ソースAPIはデフォルトではテーブル レベルで動作するため、データベース レベルで動作するTeradata外部サーバーやPrestoカタログとは異なり、リモート テーブルごとに1つの非ネイティブ テーブルを作成する必要があります。ただし、非ネイティブ テーブルを操作するときに生じる制限および不便の一部を解消する外部サーバー ライブラリが、Spark SQLコネクタの一部として含まれています。Spark SQLイニシエータを操作するには、外部サーバー ライブラリを使用することを推奨します。このセクションに含まれているSpark SQLイニシエータのすべての例は、外部サーバー ライブラリをベースとしています。外部サーバー ライブラリの詳細については、Spark SQLイニシエータ コネクタの外部サーバー ライブラリAPIリファレンスを参照してください。

次のステップでは、Spark SQL - TargetConnector間で使用するための外部サーバーの構成例を示します(TargetConnectorはターゲット コネクタの任意のタイプ)。
  1. QueryGridポートレットでSpark SQLからTeradataへのリンクのリンク プロパティを設定します。
  2. 詳細については、Scala REPLにログオンし、Scala REPLの起動を参照してください。
  3. 次のように外部サーバー ライブラリをインポートして、外部サーバー オブジェクトを作成します。
    scala> import tdqg.ForeignServer
    import tdqg.ForeignServer
     
    scala> val s1 = new ForeignServer("spark_to_teradata_link","active","fs1")
    s1: tdqg.ForeignServer = tdqg.ForeignServer@4eb73cc8
  4. 次のように外部サーバーを使用してリモート スキーマを表示し、結果を確認します。
    scala> s1.showSchemas
    +---------------+
    |DATABASE_NAME  |
    +---------------+
    |default	|
    |user1		|
    +---------------+