2.17 - 启动 Scala REPL - Teradata QueryGrid

Teradata® QueryGrid™ 安装和用户指南

Product
Teradata QueryGrid
Release Number
2.17
Published
2021 年 12 月
Content Type
安装
用户指南
管理
配置
Publication ID
B035-5991-121K-CHS
Language
中文 (简体)
Last Update
2021-12-28
与 Spark SQL 发起程序交互的受支持客户端为 Scala Read-Eval-Print-Loop (REPL),称为 spark-shell。要使用 Spark SQL 发起程序,必须使用以下 JAR 文件启动 spark-shell:
  • spark-loaderfactory
  1. 登录要启动 spark-shell 的节点。
  2. 找到位于 /opt/teradata/tdqg/connector/tdqg-spark-connector/<version>/lib/) 的连接器路径
  3. 添加 JAR 文件。
  4. 启动 spark-shell。
    以下是启动 spark-shell 的示例路径:
    spark-shell --jars /opt/teradata/tdqg/connector/tdqg-spark-connector/
    version/lib/spark-loaderfactory-version.jar --master yarn
    使用 CDH 集群时,请使用 spark2-shell 命令名称代替 spark-shell
    使用具有 Scala 2.12 的集群(例如 Dataproc 1.5 或更高版本)时,请使用 spark-loaderfactory-scala212,如下例所示:
    spark-shell --jars /opt/teradata/tdqg/connector/tdqg-spark-connector/version/lib/spark-loaderfactory-scala212-version.jar --master yarn