2.15 - Creación de un directorio HDFS para el conector de Spark SQL - Teradata QueryGrid

Teradata® QueryGrid™ Guía de instalación y uso

Product
Teradata QueryGrid
Release Number
2.15
Release Date
Marzo de 2021
Content Type
Administración
Configuración
Guía del usuario
Instalación
Publication ID
B035-5991-031K-ESN
Language
Español (España)
Antes de utilizar el conector de Spark SQL (iniciador o destino), el administrador de Hadoop debe crear el directorio hdfs:///tdqg-spark/. Este directorio sirve para el propósito siguiente:
  • Almacena un archivo de texto ficticio creado por el conector de Spark SQL cuando se usa por primera vez y es necesario para que funcione este conector.
  • Almacena los archivos de caché para los objetos de servidor externo definidos por el usuario y utilizados por el iniciador de Spark SQL.
  • Almacena archivos temporales al ejecutar el conector de destino mediante el Spark Application Execution Mechanism.

Todos los usuarios que accedan al conector de Spark SQL (iniciador o destino) deben tener permiso de acceso de escritura en el directorio.

  1. Inicie sesión en cualquier nodo de Hadoop.
  2. Cree el directorio tdqg-spark:
    hdfs dfs -mkdir /tdqg-spark/
  3. Especifique los permisos como en el ejemplo siguiente:
    hdfs dfs -chmod 777 /tdqg-spark/
    El permiso 777 es un ejemplo. Los permisos reales los determina el administrador de Hadoop, siempre y cuando se cumplan los requisitos para crear el directorio.