与 Spark SQL 发起程序交互的受支持客户端为 Scala Read-Eval-Print-Loop (REPL),称为 spark-shell。要使用 Spark SQL 发起程序,必须使用以下 JAR 文件启动 spark-shell:
- spark-loaderfactory
- 登录要启动 spark-shell 的节点。
- 找到位于 /opt/teradata/tdqg/connector/tdqg-spark-connector/<version>/lib/) 的连接器路径
- 添加 JAR 文件。
- 启动 spark-shell。以下是启动 spark-shell 的示例路径:
spark-shell --jars /opt/teradata/tdqg/connector/tdqg-spark-connector/ version/lib/spark-loaderfactory-version.jar --master yarn
使用 CDH 集群时,请使用 spark2-shell 命令名称代替 spark-shell。使用具有 Scala 2.12 的集群(例如 Dataproc 1.5 或更高版本)时,请使用 spark-loaderfactory-scala212,如下例所示:spark-shell --jars /opt/teradata/tdqg/connector/tdqg-spark-connector/version/lib/spark-loaderfactory-scala212-version.jar --master yarn