2.09 - 为 Spark SQL 到目标连接器配置外部服务器 - Teradata QueryGrid

Teradata® QueryGrid™ 安装和用户指南

prodname
Teradata QueryGrid
vrm_release
2.09
created_date
2019 年 5 月
category
安装
用户指南
管理
配置
featnum
B035-5991-059K-CHS
数据源 API 框架用于 Teradata QueryGrid Spark SQL 发起程序连接器。数据源 API 允许 Spark SQL 访问存储在其他系统上的数据。使用数据源 API 框架创建的 Spark SQL 表称为非本地表。

缺省情况下,数据源 API 在表级别运行,因此必须为每个远程表创建一个非本机表,这与在数据库级别运行的 Teradata 外部服务器和 Presto 目录不同。但是,外部服务器库已作为 Spark SQL 连接器的一部分包括在内,解决了使用非本机表时的一些限制和不便。Teradata 建议使用外部服务器库与 Spark SQL 发起程序进行交互,且本节中的所有 Spark SQL 发起程序示例都基于外部服务器库。有关外部服务器库的完整详细信息,请参阅 Spark SQL 发起程序连接器的外部服务器库 API 参考

在以下步骤提供的示例中,将配置一个外部服务器,使其能用于 Spark SQL 到 TargetConnector(其中 TargetConnector 是任意类型的目标连接器):
  1. QueryGrid 门户组件中配置 Spark SQL 到 Teradata 链接的链接属性。请参见Spark SQL 连接器和链接属性
  2. 登录到 Scala REPL,有关详细信息,请参阅启动 Scala REPL
  3. 导入外部服务器库并创建外部服务器对象,例如:
    scala> import tdqg.ForeignServer
    import tdqg.ForeignServer
     
    scala> val s1 = new ForeignServer("spark_to_teradata_link","active","fs1")
    s1: tdqg.ForeignServer = tdqg.ForeignServer@4eb73cc8
  4. 使用外部服务器显示远程模式并验证结果,例如:
    scala> s1.showSchemas
    +---------------+
    |DATABASE_NAME  |
    +---------------+
    |default	|
    |user1		|
    +---------------+