Creación de un directorio HDFS para el conector de Spark SQL - Teradata QueryGrid

Teradata® QueryGrid™ Guía de instalación y uso- 3.00

Deployment
VantageCloud
VantageCore
Edition
Enterprise
IntelliFlex
Lake
VMware
Product
Teradata QueryGrid
Release Number
3.00
Published
Marzo de 2023
Language
Español
Last Update
2023-04-04
dita:mapPath
es-ES/dtm1676313130103.ditamap
dita:ditavalPath
ft:empty
dita:id
B035-5991
Product Category
Analytical Ecosystem
Antes de utilizar el conector de Spark SQL (iniciador o destino), el administrador de Hadoop debe crear el directorio hdfs:///tdqg-spark/. En este directorio se almacenan los siguientes archivos:
  • Un archivo de texto ficticio creado por el conector de Spark SQL cuando se usa por primera vez y es necesario para que funcione este conector.
  • Los archivos de caché para los objetos de servidor externo definidos por el usuario y utilizados por el iniciador de Spark SQL.
  • Archivos temporales al ejecutar el conector de destino mediante el Spark Application Execution Mechanism.

Todos los usuarios que accedan al conector de Spark SQL (iniciador o destino) deben tener permiso de acceso de escritura en el directorio.

  1. Inicie sesión en cualquier nodo de Hadoop.
  2. Cree el directorio tdqg-spark:
    hdfs dfs -mkdir /tdqg-spark/
  3. Especifique los permisos como en el ejemplo siguiente:
    hdfs dfs -chmod 777 /tdqg-spark/
    El permiso 777 es un ejemplo. Los permisos reales los determina el administrador de Hadoop, siempre y cuando se cumplan los requisitos para crear el directorio.