Teradata QueryGridのSpark SQL開始コネクタには、データ ソースAPIフレームワークが使用されます。データ ソースAPIを使用すると、Spark SQLから他のシステムに格納されているデータにアクセスできます。データ ソースAPIフレームワークを使用して作成されたSpark SQLテーブルは、非ネイティブ テーブルと呼ばれます。
データ ソースAPIはデフォルトではテーブル レベルで動作するため、データベース レベルで動作するTeradata外部サーバーやPrestoカタログとは異なり、リモート テーブルごとに1つの非ネイティブ テーブルを作成する必要があります。ただし、非ネイティブ テーブルを操作するときに生じる制限および不便の一部を解消する外部サーバー ライブラリが、Spark SQLコネクタの一部として含まれています。Spark SQLイニシエータを操作するには、外部サーバー ライブラリを使用することを推奨します。このセクションに含まれているSpark SQLイニシエータのすべての例は、外部サーバー ライブラリをベースとしています。外部サーバー ライブラリの詳細については、Spark SQLイニシエータ コネクタの外部サーバー ライブラリAPIリファレンスを参照してください。
次のステップでは、Spark SQL - TargetConnector間で使用するための外部サーバーの構成例を示します(TargetConnectorはターゲット コネクタの任意のタイプ)。- QueryGridポートレットでSpark SQLからTeradataへのリンクのリンク プロパティを設定します。Spark SQLコネクタとリンクのプロパティを参照してください。
- 詳細については、Scala REPLにログオンし、Scala REPLの起動を参照してください。
- 次のように外部サーバー ライブラリをインポートして、外部サーバー オブジェクトを作成します。
scala> import tdqg.ForeignServer import tdqg.ForeignServer scala> val s1 = new ForeignServer("spark_to_teradata_link","active","fs1") s1: tdqg.ForeignServer = tdqg.ForeignServer@4eb73cc8
- 次のように外部サーバーを使用してリモート スキーマを表示し、結果を確認します。
scala> s1.showSchemas +---------------+ |DATABASE_NAME | +---------------+ |default | |user1 | +---------------+