El cliente admitido para interactuar con el iniciador de Spark SQL es el Scala Read-Eval-Print-Loop (REPL), conocido también como spark-shell. Para usar el iniciador de Spark SQL, debe iniciarse el shell de Spark mediante el siguiente archivo JAR:
- spark-loaderfactory
- Inicie sesión en el nodo en que desea iniciar el shell de Spark.
- Ubique la ruta del conector en /opt/teradata/tdqg/connector/tdqg-spark-connector/<version>/lib/)
- Agregue el archivo JAR.
- Inicie el shell de Spark.A continuación se muestra una ruta de ejemplo para iniciar el shell de Spark:
spark-shell --jars /opt/teradata/tdqg/connector/tdqg-spark-connector/ version/lib/spark-loaderfactory-version.jar --master yarn
Cuando use clústeres de CDH, utilice el nombre de comando spark2-shell en lugar de spark-shell.Cuando use un clúster que tenga Scala 2.12, como Dataproc 1.5 o una versión posterior, use spark-loaderfactory-scala212 como se muestra en el siguiente ejemplo:spark-shell --jars /opt/teradata/tdqg/connector/tdqg-spark-connector/version/lib/spark-loaderfactory-scala212-version.jar --master yarn