2.15 - Propiedades de conectores y enlaces de Spark SQL - Teradata QueryGrid

Teradata® QueryGrid™ Guía de instalación y uso

Product
Teradata QueryGrid
Release Number
2.15
Release Date
Marzo de 2021
Content Type
Administración
Configuración
Guía del usuario
Instalación
Publication ID
B035-5991-031K-ESN
Language
Español (España)
Cuando se crean enlaces y propiedades asociadas en el portlet QueryGrid, se crean pares nombre-valor (NVP) de configuración. El NVP:
  • Especifica el comportamiento del componente del conector de destino.
  • Configura el modo en que se transforman los datos.
  • Configura la capa de transporte de datos del enlace subyacente.
  • Afecta al funcionamiento del conector de iniciador.

Los enlaces son configuraciones con nombre que incluyen un conector de inicio y otro de destino. Si la misma propiedad está establecida para un enlace y un conector, la configuración del enlace anula la configuración del conector.

Es posible que haya propiedades disponibles solo para conectores de inicio, solo para conectores de destino, o para ambos tipos.

Ficha básica

Nombre Predeterminado Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Servidor Ninguno Se utiliza para la conexión con la base de datos de destino como parte de la cadena de conexión JDBC. Es la dirección IP o el nombre DNS del host de destino.   Objetivo
Puerto 10016 Los valores válidos para el conector de Spark van de 1026 a 65.535.   Objetivo
Nombre de la base de datos Predeterminado Nombre de la base de datos del conector, si no se proporciona en la consulta de usuario.

La longitud máxima del nombre es de 255 caracteres.

  Objetivo
Mecanismo de ejecución de Spark Servidor de Spark Thrift Mecanismo utilizado por el conector de destino para enviar consultas a Spark. Los valores posibles son Spark Thrift Server y Spark Application.   Objetivo
Ruta de inicio de Spark /usr/hdp/current/spark2-client/ Ruta de acceso al directorio principal de Spark, donde reside el subdirectorio /jars que contiene todos los archivos .jar de la biblioteca de Spark.   Objetivo
Rutas de archivo de configuración /etc/hadoop/conf/,

/etc/spark2/conf/

Rutas de acceso a core-site.xml, hdfs-site.xml y hive-site.xml (si están disponibles) en una lista separada por comas.   Objetivo

Ficha Seguridad

Nombre Predeterminado Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Mecanismo de autenticación Ninguno Mecanismo de seguridad general para el clúster.

Para clústeres de HDInsight cuando se utilice el paquete de seguridad de empresa (ESP, por sus siglas en inglés), seleccione Kerberos.

  Objetivo
Nombre de usuario Hive Nombre del usuario. Un nombre de usuario agregado para un conector o un enlace de conector de destino debe incluirse en Usuarios del sistema operativo admitidos.

La longitud máxima es de 255 caracteres.

Este NVP se guarda en la configuración de QueryGrid Manager y es necesario cuando el iniciador no admite un mecanismo para proporcionar credenciales de usuario. El nombre de usuario también se utiliza para realizar comprobaciones de diagnóstico de conectividad.

  Objetivo
Contraseña Ninguno Contraseña de la cuenta de usuario o de servicio.   Objetivo
Tabla de claves Ninguno Ruta absoluta al archivo keytab de Kerberos. QueryGrid solo utiliza el archivo keytab para la autenticación si no se proporciona un nombre de usuario y una contraseña.   Objetivo
Ruta TrustStore SSL Ninguno Ruta de almacén de claves o TrustStore SSL para la autenticación en el servidor Spark Thrift cuando SSL está habilitado.

No es necesaria si las claves se almacenan en el almacén de confianza de Java.

  Objetivo
Contraseña TrustStore SSL Ninguno Contraseña de almacén de claves o TrustStore SSL para la autenticación en el servidor Spark Thrift cuando SSL está habilitado.

No es necesaria si las claves se almacenan en el almacén de confianza de Java.

  Objetivo

Ficha Motor de consultas

Nombre Predeterminado Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Número de ejecutores Ninguno Unidad de paralelismo cuando los datos se exportan o importan en Spark SQL.

numExecutors

Iniciador, destino
Nombre de cola Ninguno Nombre de la cola que envía los trabajos de Spark. Modo de aplicación Spark solamente.

queueName

Objetivo
Propiedades de Hadoop Ninguno Especifica las propiedades del entorno Hadoop de una sesión de usuario. Las propiedades se indican en una lista. Use = entre cada propiedad y su valor (name=value, name=value, name=value), y una coma como separador entre propiedades, con o sin espacio tras la coma.

Por ejemplo:

mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=false

Si no se seleccionan las propiedades de Hadoop, se utilizan las propiedades de entorno Hadoop predeterminadas.

hadoopProperties

Objetivo
Códec de compresión Valor predeterminado del sistema Tipo de compresión que se utilizará al exportar a un tabla Spark de destino. Los valores válidos son System Default, Deflate, BZip2, GZip, LZ4 y Snappy.

compressionCodec

Objetivo

Ficha Avanzado

Nombre Predeterminado Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Nombre de base de datos temporal Predeterminado Nombre de la base de datos temporal para almacenar tablas y vistas temporales.

tempDbName

Objetivo
Habilitar registro INFO Ejecuta consultas con el modo de depuración habilitado.

Los valores válidos son NONE, WARN, INFO y DEBUG.

  Iniciador, destino
Deshabilitar aplicación False Cuando se establece en verdadero, deshabilita la aplicación de todas las condiciones de consulta para el sistema de destino.

Algunos atributos de nivel de sistema, nivel de sesión y nivel de columna de la consulta, como casespecific, pueden afectar a los resultados de comparación de cadenas de caracteres. Estos atributos pueden provocar que algunas consultas devuelvan resultados incorrectos debido al filtrado incorrecto de filas en el sistema de destino.

Para evitar resultados incorrectos provocados por la aplicación de condiciones en situaciones donde la configuración del sistema de inicio no coincide con la configuración del sistema de destino, puede deshabilitar la aplicación de todas las condiciones en el sistema de destino.

Si se designa como reemplazable, esta propiedad solo se puede anular en el nivel de sesión de falso a verdadero (lo que indica que se está deshabilitando la aplicación), pero no se puede cambiar de verdadero a falso.

disablePushdown

Iniciador
Compatibilidad de 16.20+ con LOB true En las versiones de sistemas de Teradata 16.20 y posteriores, las columnas STRING y BINARY en Spark SQL se asignan a CLOB y BLOB de forma predeterminada. Anule la selección de esta opción para asignar las columnas STRING y BINARY a VARCHAR y VARBYTE, respectivamente.

Deshabilite esta opción si hay un gran número de columnas STRING/BINARY en la tabla de Spark.

lobSupport

Objetivo
Tamaño de cadena predeterminado 32.000 caracteres El tamaño de truncamiento VARCHAR. Es el tamaño en el que se truncan los datos importados de columnas de cadena o exportados a ellas. El valor representa el número máximo de caracteres Unicode que se importarán y el valor predeterminado es de 32.000 caracteres. Teradata QueryGrid trunca las columnas de cadena en el valor predeterminado establecido en defaultStringSize.

Los valores válidos van de 1 a 1.048.544.000 caracteres.

Esto es para un enlace de Teradata a Spark, lo utiliza el conector de destino de Spark y es aplicable cuando el sistema de Teradata de inicio no admite tipos de datos CLOB con QueryGrid. Con la compatibilidad con CLOB, no se utiliza el tamaño de cadena predeterminado.

defaultStringSize

Objetivo
Tamaño binario predeterminado 64.000 bytes El tamaño de truncamiento predeterminado para los tipos VARBINARY.

Los valores válidos van de 1 a 2.097.088.000 bytes.

Esto es para un enlace de Teradata a Spark, lo utiliza el conector de destino de Spark y es aplicable cuando el sistema de Teradata de inicio no admite tipos de datos BLOB con QueryGrid. Con la compatibilidad con BLOB, no se utiliza el tamaño binario predeterminado.

defaultBinarySize

Objetivo
Recopilar recuento de actividad aproximada False Muestra el número aproximado de filas exportadas al origen de datos de destino.

Cuando se establece en false, el recuento de actividades muestra un 1. Cuando se establece en true, se devuelve un recuento de actividades aproximado. Ejecuta la sincronización como servicio principal cuando se establece como true. Si no se especifica, el valor predeterminado es false.

collectActivityCount

Objetivo
Recuento de búferes de enlace 4 Es el número máximo de búferes de escritura disponibles en un solo canal a la vez.
El recuento de búferes de enlace sobrescribe la propiedad de tejido interna predeterminada shmDefaultNumMemoryBuffers.

Los valores válidos van de 2 a 16.

linkBufferCount

Iniciador, destino
Tamaño de búfer de enlace 1048576 Tamaño máximo de los búferes de escritura que se asignarán al manejo de filas y al intercambio de mensajes.

Los valores válidos van de 73728 a 10485760 bytes.

linkBufferSize

Iniciador, destino
Tiempo de espera de respuesta 86400000 El número de milisegundos que se debe esperar a que se complete la consulta de destino antes de agotar el tiempo de espera y detener la operación. El tejido detiene y libera todos los recursos asociados a consultas cuya duración supera el valor establecido en las propiedades del enlace de destino o las propiedades del conector de destino. Los conectores superan el tiempo de espera cuando las respuestas del tejido superan su valor de tiempo de espera de respuesta.

Los valores válidos van de 300000 a 172800000.

responseTimeout

Iniciador, destino
Tiempo de inactividad de conexión máximo 86.400 segundos El tiempo de inactividad máximo para el objeto de caché de conexión, después del cual el objeto se cierra y se quita de la caché. Utilice esta propiedad cuando haya varios usuarios simultáneos y consultas que se ejecuten en el sistema que podrían conducir al colapso de los objetos de conexión.

Los valores válidos van de 1 a 86.400 segundos.

  Objetivo
Tamaño del grupo de conexiones 100 Número máximo de objetos de conexión que se pueden almacenar en un grupo de conexiones. Al adquirir una nueva conexión, el conector comprueba si hay espacio disponible en el grupo. Si no hay espacio disponible en el grupo de conexiones, la conexión fallará después de 5 minutos. Solo se permite un grupo de conexiones y una configuración de nombre de usuario por conector.

Los valores válidos van de 1 a 10.000.

  Objetivo
Frecuencia de desalojo de conexiones 30 minutos Frecuencia de los controles de desalojo. Los objetos de conexión de la agrupación se comprueban, se cierran y se eliminan si el tiempo de inactividad (hora actual - última vez que se usó) de un objeto de conexión es mayor que el ajuste de tiempo de inactividad máximo de conexión.

Reduzca el tiempo entre comprobaciones si hay varios usuarios simultáneos ejecutando consultas para borrar las conexiones con mayor frecuencia.

Los valores válidos van de 1 a 1.440 minutos.

  Objetivo