Propiedades de conectores y enlaces de Spark SQL - Teradata QueryGrid

QueryGrid™ Guía de instalación y uso- 3.06

Deployment
VantageCloud
VantageCore
Edition
Enterprise
IntelliFlex
Lake
VMware
Product
Teradata QueryGrid
Release Number
3.06
Published
Diciembre de 2024
ft:locale
es-ES
ft:lastEdition
2024-12-18
dita:mapPath
es-ES/ndp1726122159943.ditamap
dita:ditavalPath
ft:empty
dita:id
lxg1591800469257
Product Category
Analytical Ecosystem
Cuando se crean enlaces y propiedades asociadas en el portlet QueryGrid, se crean pares nombre-valor (NVP) de configuración. El NVP:
  • Especifica el comportamiento del componente del conector de destino.
  • Configura el modo en que se transforman los datos.
  • Configura la capa de transporte de datos del enlace subyacente.
  • Afecta al funcionamiento del conector de iniciador.

Los enlaces son configuraciones con nombre que incluyen un conector de inicio y otro de destino. Si la misma propiedad está establecida para un enlace y un conector, la configuración del enlace anula la configuración del conector.

Es posible que haya propiedades disponibles solo para conectores de inicio, solo para conectores de destino, o para ambos tipos.

Ficha básica

Conector de Spark
Nombre Default Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Servidor None Se utiliza para la conexión con la base de datos de destino como parte de la cadena de conexión JDBC. Es la dirección IP o el nombre DNS del host de destino.   Destino
Puerto 10016 Los valores válidos para el conector de Spark van de 1026 a 65.535.   Destino
Nombre de la base de datos Default Nombre de la base de datos del conector, si no se proporciona en la consulta de usuario.

La longitud máxima del nombre es de 255 caracteres.

  Destino
Mecanismo de ejecución de Spark Servidor de Spark Thrift Mecanismo utilizado por el conector de destino para enviar consultas a Spark. Los valores posibles son Spark Thrift Server y Spark Application.

Spark Thrift Server no es compatible con CDH ni con CDP.

  Destino
Ruta de inicio de Spark /usr/hdp/current/spark2-client/ Ruta de acceso al directorio principal de Spark, donde reside el subdirectorio /jars que contiene todos los archivos .jar de la biblioteca de Spark.   Destino
Rutas de archivo de configuración /etc/hadoop/conf/,

/etc/spark2/conf/

Rutas de acceso a core-site.xml, hdfs-site.xml y hive-site.xml (si están disponibles) en una lista separada por comas.   Destino

Ficha Seguridad

Conector de Spark
Nombre Default Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Mecanismo de autenticación None Mecanismo de seguridad general para el clúster.

Para clústeres de HDInsight cuando se utilice el paquete de seguridad de empresa (ESP, por sus siglas en inglés), seleccione Kerberos.

  Destino
Nombre de usuario Hive

Nombre del usuario.

La longitud máxima es de 255 caracteres. Un nombre de usuario agregado para un conector o un enlace de conector de destino debe incluirse en Usuarios del sistema operativo admitidos.

Este NVP se guarda en la configuración de QueryGrid Manager y es necesario cuando el iniciador no admite un mecanismo para proporcionar credenciales de usuario. El nombre de usuario también se utiliza para realizar comprobaciones de diagnóstico de conectividad.

  Destino
Contraseña None Contraseña de la cuenta de usuario o de servicio.   Destino
Tabla de claves None Ruta absoluta al archivo keytab de Kerberos. QueryGrid solo utiliza el archivo keytab para la autenticación si no se proporciona un nombre de usuario y una contraseña.   Destino
Ruta TrustStore SSL None Ruta de almacén de claves o TrustStore SSL para la autenticación en el servidor Spark Thrift cuando SSL está habilitado.

No es necesaria si las claves se almacenan en el almacén de confianza de Java.

  Destino
Contraseña TrustStore SSL None Contraseña de almacén de claves o TrustStore SSL para la autenticación en el servidor Spark Thrift cuando SSL está habilitado.

No es necesaria si las claves se almacenan en el almacén de confianza de Java.

  Destino

Ficha Motor de consultas

Conector de Spark
Nombre Default Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Número de ejecutores None Unidad de paralelismo cuando los datos se exportan o importan en Spark SQL.

numExecutors

Iniciador, destino
Nombre de cola None Nombre de la cola que envía los trabajos de Spark. Modo de aplicación Spark solamente.

queueName

Destino
Propiedades de Hadoop None Especifica las propiedades del entorno Hadoop de una sesión de usuario. Las propiedades se indican en una lista. Use = entre cada propiedad y su valor (name=value, name=value, name=value), y una coma como separador entre propiedades, con o sin espacio tras la coma.

Por ejemplo:

mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=false

Si no se seleccionan las propiedades de Hadoop, se utilizan las propiedades de entorno Hadoop predeterminadas.

hadoopProperties

Destino
Códec de compresión Valor predeterminado del sistema Tipo de compresión que se utilizará al exportar a un tabla Spark de destino. Los valores válidos son System Default, Deflate, BZip2, GZip, LZ4 y Snappy.

compressionCodec

Destino
Rutas JAR adicionales de Spark None Especifica la ruta o rutas de directorio donde se encuentran los archivos .jar necesarios. Recomendado solo cuando el directorio de inicio de Spark no contiene un archivo .jar de la biblioteca de Spark necesario.   Destino
JAR personalizados de Spark None Especifica la ruta o rutas de los archivos .jar de la biblioteca de Spark. Recomendado solo cuando se necesita un nuevo .jar de la biblioteca de Spark.   Destino

Ficha Avanzado

Conector de Spark
Nombre Default Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Nombre de base de datos temporal Default Nombre de la base de datos temporal para almacenar tablas y vistas temporales.

tempDbName

Destino
Habilitar registro INFO Ejecuta consultas con el modo de depuración habilitado.

Los valores válidos son NONE, WARN, INFO y DEBUG.

  Iniciador, destino
Habilitar el registro de consultas True

Cuando se establece en true, QueryGrid registra el texto de la consulta en su unidad local. Cuando se establece en false, el texto de la consulta no se registra. Si se selecciona false, se evita que los datos confidenciales del cliente se puedan guardar fuera de la base de datos para entornos que cumplen con los requisitos, tales como Teradata VantageCloud Lake.

  Destino
Deshabilitar aplicación False Cuando se establece en verdadero, deshabilita la aplicación de todas las condiciones de consulta para el sistema de destino.

Algunos atributos de nivel de sistema, nivel de sesión y nivel de columna de la consulta, como casespecific, pueden afectar a los resultados de comparación de cadenas de caracteres. Estos atributos pueden provocar que algunas consultas devuelvan resultados incorrectos debido al filtrado incorrecto de filas en el sistema de destino.

Para evitar resultados incorrectos provocados por la aplicación de condiciones en situaciones donde la configuración del sistema de inicio no coincide con la configuración del sistema de destino, puede deshabilitar la aplicación de todas las condiciones en el sistema de destino.

Si se designa como reemplazable, esta propiedad solo se puede anular en el nivel de sesión de falso a verdadero (lo que indica que se está deshabilitando la aplicación), pero no se puede cambiar de verdadero a falso.

disablePushdown

Iniciador
Compatibilidad de 16.20+ con LOB True En las versiones de sistemas de Teradata 16.20 y posteriores, las columnas STRING y BINARY en Spark SQL se asignan a CLOB y BLOB de forma predeterminada. Anule la selección de esta opción para asignar las columnas STRING y BINARY a VARCHAR y VARBYTE, respectivamente.

Deshabilite esta opción si hay un gran número de columnas STRING/BINARY en la tabla de Spark.

lobSupport

Destino
Tamaño de cadena predeterminado 32.000 caracteres El tamaño de truncamiento VARCHAR. Es el tamaño en el que se truncan los datos importados de columnas de cadena o exportados a ellas. El valor representa el número máximo de caracteres Unicode que se importarán y el valor predeterminado es de 32.000 caracteres. QueryGrid trunca las columnas de cadena en el valor predeterminado establecido en defaultStringSize.

Los valores válidos van de 1 a 1.048.544.000 caracteres.

Esto es para un enlace de Teradata a Spark, lo utiliza el conector de destino de Spark y es aplicable cuando el sistema de Teradata de inicio no admite tipos de datos CLOB con QueryGrid. Con la compatibilidad con CLOB, no se utiliza el tamaño de cadena predeterminado.

defaultStringSize

Destino
Tamaño binario predeterminado 64.000 bytes El tamaño de truncamiento predeterminado para los tipos VARBINARY.

Los valores válidos van de 1 a 2.097.088.000 bytes.

Esto es para un enlace de Teradata a Spark, lo utiliza el conector de destino de Spark y es aplicable cuando el sistema de Teradata de inicio no admite tipos de datos BLOB con QueryGrid. Con la compatibilidad con BLOB, no se utiliza el tamaño binario predeterminado.

defaultBinarySize

Destino
Recopilar recuento de actividad aproximada False Muestra el número aproximado de filas exportadas al origen de datos de destino.

Cuando se establece en false, el recuento de actividades muestra un 1. Cuando se establece en true, se devuelve un recuento de actividades aproximado. Ejecuta la sincronización como servicio principal cuando se establece como true. Si no se especifica, el valor predeterminado es false.

collectActivityCount

Destino
Recuento de búferes de enlace 4 Es el número máximo de búferes de escritura disponibles en un solo canal a la vez.
El recuento de búferes de enlace sobrescribe la propiedad de tejido interna predeterminada shmDefaultNumMemoryBuffers.

Los valores válidos van de 2 a 16.

linkBufferCount

Iniciador, destino
Tamaño de búfer de enlace 1048576 Tamaño máximo de los búferes de escritura que se asignarán al manejo de filas y al intercambio de mensajes.

Los valores válidos van de 73728 a 10485760 bytes.

linkBufferSize

Iniciador, destino
Tiempo de espera de respuesta 86400000 El número de milisegundos que se debe esperar a que se complete la consulta de destino antes de agotar el tiempo de espera y detener la operación. El tejido detiene y libera todos los recursos asociados a consultas cuya duración supera el valor establecido en las propiedades del enlace de destino o las propiedades del conector de destino. Los conectores superan el tiempo de espera cuando las respuestas del tejido superan su valor de tiempo de espera de respuesta.

Los valores válidos van de 300000 a 172800000.

responseTimeout

Iniciador, destino
Tiempo de inactividad de conexión máximo 86.400 segundos El tiempo de inactividad máximo para el objeto de caché de conexión, después del cual el objeto se cierra y se quita de la caché. Utilice esta propiedad cuando haya varios usuarios simultáneos y consultas que se ejecuten en el sistema que podrían conducir al colapso de los objetos de conexión.

Los valores válidos van de 1 a 86.400 segundos.

  Destino
Tamaño del grupo de conexiones 100 Número máximo de objetos de conexión que se pueden almacenar en un grupo de conexiones. Al adquirir una nueva conexión, el conector comprueba si hay espacio disponible en el grupo. Si no hay espacio disponible en el grupo de conexiones, la conexión fallará después de 5 minutos. Solo se permite un grupo de conexiones y una configuración de nombre de usuario por conector.

Los valores válidos van de 1 a 10.000.

  Destino
Frecuencia de desalojo de conexiones 30 minutos Frecuencia de los controles de desalojo. Los objetos de conexión de la agrupación se comprueban, se cierran y se eliminan si el tiempo de inactividad (hora actual - última vez que se usó) de un objeto de conexión es mayor que el ajuste de tiempo de inactividad máximo de conexión.

Reduzca el tiempo entre comprobaciones si hay varios usuarios simultáneos ejecutando consultas para borrar las conexiones con mayor frecuencia.

Los valores válidos van de 1 a 1.440 minutos.

  Destino