Propiedades de conectores y enlaces de Hive - Teradata QueryGrid

QueryGrid™ Guía de instalación y uso- 3.06

Deployment
VantageCloud
VantageCore
Edition
Enterprise
IntelliFlex
Lake
VMware
Product
Teradata QueryGrid
Release Number
3.06
Published
Diciembre de 2024
ft:locale
es-ES
ft:lastEdition
2024-12-18
dita:mapPath
es-ES/ndp1726122159943.ditamap
dita:ditavalPath
ft:empty
dita:id
lxg1591800469257
Product Category
Analytical Ecosystem
Cuando se crean enlaces y propiedades asociadas en el portlet QueryGrid, se crean pares nombre-valor (NVP) de configuración. El NVP:
  • Especifica el comportamiento del componente del conector de destino.
  • Configura el modo en que se transforman los datos.
  • Configura la capa de transporte de datos del enlace subyacente.
  • Afecta al funcionamiento del conector de iniciador.

Los enlaces son configuraciones con nombre que incluyen un conector de inicio y otro de destino. Si la misma propiedad está establecida para un enlace y un conector, la configuración del enlace anula la configuración del conector.

Es posible que haya propiedades disponibles solo para conectores de inicio, solo para conectores de destino, o para ambos tipos.

Ficha básica

Conector de Hive
Nombre Default Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Servidor None Se utiliza para la conexión con la base de datos de destino como parte de la cadena de conexión JDBC. Es la dirección IP o el nombre DNS del host de destino.   Destino
Puerto 10000 Los valores válidos para Hiveserver 2 van de 1.026 a 65.535.   Destino
Nombre de la base de datos Default Nombre de la base de datos del conector, si no se proporciona en la consulta de usuario.

La longitud máxima del nombre es de 255 caracteres.

  Destino
Rutas de archivo de configuración /etc/hadoop/conf/,

/etc/hive/conf/

Rutas de acceso a core-site.xml y hive-site.xml en una lista separada por comas.

Si existen el hive-site.xml de Hiveserver2 y el hive-site.xml de LLAP, el hive-site.xml de LLAP tiene una prioridad más alta, por lo que es el que se utiliza cuando ambos archivos existen pero contienen valores diferentes.

Esta configuración es obligatoria.

  Destino

Ficha Seguridad

Conector de Hive
Nombre Default Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Mecanismo de autenticación None Mecanismo de autenticación utilizado en el origen de datos de destino.

Los valores válidos son Ninguno, Kerberos, Kerberos de confianza, SSO de Kerberos y HS2Only.

Esta configuración es obligatoria.

Para clústeres de HDInsight cuando se utilice el paquete de seguridad de empresa (ESP, por sus siglas en inglés), seleccione Kerberos.

  Destino
Nombre de usuario Hive

Nombre del usuario.

La longitud máxima es de 255 caracteres. Un nombre de usuario agregado para un conector o un enlace de conector de destino debe incluirse en Usuarios del sistema operativo admitidos.

Este NVP se guarda en la configuración de QueryGrid Manager y es necesario cuando el iniciador no admite un mecanismo para proporcionar credenciales de usuario. El nombre de usuario también se utiliza para realizar comprobaciones de diagnóstico de conectividad.

  Destino
Contraseña None Contraseña de usuario.

La longitud máxima es de 255 caracteres.

Solo se utiliza si se usa la seguridad Kerberos, Kerberos de confianza o HS2Only.

  Destino
Tabla de claves None Ruta absoluta al archivo de tabla de claves de Kerberos. QueryGrid solo lo utiliza para la autenticación si el usuario no proporciona un nombre de usuario y una contraseña.   Destino
Entidad de seguridad de Kerberos de Hive None La entidad de seguridad de HiveServer2 en formato de x/y@z. Reemplaza la entidad de seguridad que se lee de hive-site.xml para HiveServer2.

Necesaria cuando se utiliza Kerberos en CDH o CDP.

  Destino
Soporte de roles False Habilite el soporte de rol de usuario para el sistema de destino.

Cuando se establece como verdadero, el rol de usuario del iniciador o el destino se aplica al sistema de destino en función de la asignación de roles, si existe. Si el clúster está configurado para admitir roles, se devuelven errores al usuario. Si el clúster no está configurado para admitir roles, no se aplica el rol de usuario.

Cuando se establece como falso, los roles no se aplican al sistema de destino.

roleSupport

Destino
Host de puerta de enlace de Knox None Host de puerta de enlace de Knox. El uso de esta propiedad indica que se está utilizando Knox.   Destino
Puerto de puerta de enlace de Knox 8443 Número de puerto de puerta de enlace de Knox.

Los valores válidos van de 1024 a 65.535.

Necesaria cuando solo se utiliza Knox.

  Destino
Ruta del contexto de Knox puerta de enlace/predeterminado/hive Ruta de contexto de Knox para HS2, por ejemplo: gateway/mycluster/hive

Necesaria cuando solo se utiliza Knox.

  Destino
Ruta del almacén de confianza de Knox None Ruta del almacén de confianza de la puerta de enlace de Knox.

Necesaria cuando solo se utiliza Knox.

  Destino
Contraseña del almacén de confianza de Knox None Contraseña del almacén de confianza de la puerta de enlace de Knox.

Necesaria cuando solo se utiliza Knox.

  Destino
Nombre de usuario de la conexión de Knox None Nombre de usuario para la conexión Knox.

Necesaria cuando solo se utiliza Knox.

  Destino
Contraseña de la conexión de Knox None Contraseña para la conexión Knox.

Necesaria cuando solo se utiliza Knox.

  Destino
Ruta TrustStore SSL None Especifica la ruta del archivo TrustStore al conectarse a un hiveserver2 con SSL habilitado.
  • Si no se establece esta ruta de TrustStore SSL y Java no tiene definida una ruta de acceso de TrustStore, el conector de Hive intenta utilizar la ruta de acceso y la contraseña del almacén de claves de hive-site.xml.
  • SSL en CDH o CDP requiere que se establezca este NVP o que la información de TrustStore se establezca en Java.
  Destino
Contraseña TrustStore SSL None Especifica la contraseña TrustStore SSL cuando se habilita SSL para hiveserver2.   Destino

Ficha Motor de consultas

Conector de Hive
Nombre Default Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Motor de ejecución de Hive mr Motor de ejecución de Hive que se debe utilizar.

Los valores posibles son mr, tez o spark. No todos los valores se admiten en todas las implementaciones de Hive.

hiveEngine

Iniciador, destino
Número de asignadores 3 * número de nodos de datos El número de asignadores (equivalente a contenedores) en el clúster. Define el paralelismo máximo por clúster y por consulta.

Es aplicable cuando se exportan datos a Hive mediante una exportación de Teradata a Hive o al importar datos a Hive mediante una importación de Hive a Teradata.

Los valores siguientes están pensados para ser valores de inicio conservadores:
  • El número de nodos de datos del clúster de Hadoop multiplicado por 3.
Considere la posibilidad de incrementar estos números significativamente en función de los recursos disponibles en el clúster de Hadoop, así como de la naturaleza de las consultas que se realicen. Para Hive en Spark, si no se especifica un valor, se utiliza el valor predeterminado del sistema.

numMappers

Iniciador, destino
Nombre de cola None Nombre de la cola que envía el trabajo MR, Tez o Spark.

queueName

Iniciador, destino
HiveServer2 HA habilitada False Indica si se deben utilizar las opciones de Zookeeper HA como parte de la cadena de conexión JDBC. Establézcalo en true si se conecta a un servidor Zookeeper para el equilibrio de carga.

isHS2HAEnabled

Destino
Ruta de biblioteca Hadoop Ruta de biblioteca Hadoop predeterminada Necesario si Hadoop utiliza una ruta de instalación personalizada en lugar de la ruta Hadoop predeterminada, o si cualquier archivo .jar de Hadoop se guarda fuera de la biblioteca Hadoop predeterminada. Escriba las rutas en una lista separada por comas. Consulte Configuración del conector de Hive para su uso con una ruta de biblioteca Hadoop personalizada o una ruta JAR personalizada.

Si no hay información personalizada disponible, se utiliza la ruta de biblioteca Hadoop predeterminada.

  Destino
Ruta JAR personalizada None Especifica la ruta o rutas para usar con los archivos .jar que no se enumeran en Archivos JAR de Hadoop. Escriba las rutas en una lista separada por comas. Consulte Configuración del conector de Hive para su uso con una ruta de biblioteca Hadoop personalizada o una ruta JAR personalizada.   Destino
Propiedades de Hadoop None Especifica las propiedades del entorno Hadoop de una sesión de usuario. Las propiedades se indican en una lista. Use = entre cada propiedad y su valor (name=value, name=value, name=value), y una coma como separador entre propiedades, con o sin espacio tras la coma.

Por ejemplo:

mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=false

Si no se seleccionan las propiedades de Hadoop, se utilizan las propiedades de entorno Hadoop predeterminadas.

hadoopProperties

Destino
Códec de compresión Valor predeterminado del sistema Tipo de compresión que se utiliza al exportar a una tabla de Hive. Los valores válidos son System Default, Deflate, BZip2, Gzip, LZ4 y Snappy.

compressionCodec

Destino
Número de núcleos por ejecutor None Solo para Hive en Spark. Controla el número de tareas simultáneas que puede ejecutar un ejecutor.Si no se especifica un valor, se utilizará el sistema predeterminado.

numExecutorCores

Iniciador, destino

Ficha Avanzado

Conector de Hive
Nombre Default Descripción ¿Reemplazable?

Nombre de la propiedad

Tipo de conector
Nombre de base de datos temporal Default Nombre de la base de datos temporal para almacenar tablas y vistas temporales.

tempDbName

Destino
Habilitar registro INFO Nivel de registro de las propiedades de conector o de enlace. La configuración de registro de nivel de usuario puede establecerse explícitamente a través de la página para agregar o editar enlaces del portlet QueryGrid.

Esta configuración se aplica al conector de inicio y al de destino; sin embargo, el nivel de registro del conector de inicio para el enlace tiene prioridad si los conectores se configuraron de distinta manera.

Los valores válidos son NONE, WARN, INFO y DEBUG.

  Iniciador, destino
Habilitar el registro de consultas True

Cuando se establece en true, QueryGrid registra el texto de la consulta en su unidad local. Cuando se establece en false, el texto de la consulta no se registra. Si se selecciona false, se evita que los datos confidenciales del cliente se puedan guardar fuera de la base de datos para entornos que cumplen con los requisitos, tales como Teradata VantageCloud Lake.

  Destino
Compatibilidad de 16.20+ con LOB True En las versiones de sistemas de Teradata 16.20 y posteriores, las columnas STRING y BINARY en Hive se asignan a CLOB y BLOB de forma predeterminada. Anule la selección de esta opción para asignar las columnas STRING y BINARY a VARCHAR y VARBYTE, respectivamente.

Deshabilite esta opción si hay un gran número de columnas STRING/BINARY en la tabla de Hive.

lobSupport

Destino
Tamaño de cadena predeterminado 32.000 caracteres El tamaño de truncamiento VARCHAR.

Es el tamaño en el que se truncan los datos importados de columnas de cadena o exportados a ellas. El valor representa el número máximo de caracteres Unicode que se importarán y el valor predeterminado es de 32.000 caracteres. QueryGrid trunca las columnas de cadena en el valor predeterminado establecido en defaultStringSize si es inferior al tamaño real de la columna.

Los valores válidos van de 1 a 1.048.544.000 caracteres.

Esto es para un enlace de Teradata a Hive, lo utiliza el conector de destino de Hive y es aplicable cuando el sistema de Teradata de inicio no admite tipos de datos CLOB con QueryGrid. Con la compatibilidad con CLOB, no se utiliza el tamaño de cadena predeterminado.

defaultStringSize

Destino
Tamaño binario predeterminado 64.000 bytes El tamaño de truncamiento predeterminado para los tipos VARBINARY.

Los valores válidos van de 1 a 2.097.088.000 bytes.

Esto es para un enlace de Teradata a Hive, lo utiliza el conector de destino de Hive y es aplicable cuando el sistema de Teradata de inicio no admite tipos de datos BLOB con QueryGrid. Con la compatibilidad con BLOB, no se utiliza el tamaño binario predeterminado.

defaultBinarySize

Destino
Deshabilitar aplicación False Cuando se establece en verdadero, deshabilita la aplicación de todas las condiciones de consulta para el sistema de destino.

Algunos atributos de nivel de sistema, nivel de sesión y nivel de columna de la consulta, como casespecific, pueden afectar a los resultados de comparación de cadenas de caracteres. Estos atributos pueden provocar que algunas consultas devuelvan resultados incorrectos debido al filtrado incorrecto de filas en el sistema de destino.

Para evitar resultados incorrectos provocados por la aplicación de condiciones en situaciones donde la configuración del sistema de inicio no coincide con la configuración del sistema de destino, puede deshabilitar la aplicación de todas las condiciones en el sistema de destino.

Si se designa como reemplazable, esta propiedad solo se puede anular en el nivel de sesión de falso a verdadero (lo que indica que se está deshabilitando la aplicación), pero no se puede cambiar de verdadero a falso.

disablePushdown

Iniciador
Recopilar recuento de actividad aproximada False Muestra el número aproximado de filas exportadas al origen de datos de destino.

Cuando se establece en false, el recuento de actividades muestra un 1. Cuando se establece en true, se devuelve un recuento de actividades aproximado. Ejecuta la sincronización como servicio principal cuando se establece como true. Si no se especifica, el valor predeterminado es false.

collectActivityCount

Destino
Compatibilidad con reintentos de tareas de Hive False Cuando se establece como verdadero, el tejido está habilitado para admitir reintentos de tarea de Hive. Cuando se habilita, el tejido no falla en la consulta cuando se vuelven a intentar tareas de Hive. En su lugar, el tejido descarta los datos recibidos de un intento de tarea fallido y continúa el procesamiento de los datos de tarea desde el reintento.
Esta característica solo se admite cuando Hive es el origen de datos, donde Hive está importando datos como un destino o exportando datos como un iniciador, y el motor de ejecución es mr o tez.
  Iniciador, destino
Ruta de archivo de Spool /var/opt/teradata/tdqg/fabric/data/ Ruta de acceso local que se usará para los archivos spool si el tejido está habilitado para admitir reintentos de tarea de Hive.
Cuando se especifica una ruta de acceso personalizada, el directorio especificado debe estar presente en todos los nodos de datos de Hadoop configurados en un clúster de QueryGrid. El directorio debe tener permisos de lectura, escritura y ejecución para crear, leer y escribir archivos y subdirectorios para el grupo de SO querygrid y el usuario de SO tdqg.
  Iniciador, destino
Recuento de búferes de enlace 4 Es el número máximo de búferes de escritura disponibles en un solo canal a la vez.
El recuento de búferes de enlace sobrescribe la propiedad de tejido interna predeterminada shmDefaultNumMemoryBuffers.

Los valores válidos van de 4 a 8.

linkBufferCount

Iniciador, destino
Tamaño de búfer de enlace 1048576 Tamaño máximo de los búferes de escritura que se asignarán al manejo de filas y al intercambio de mensajes.

Los valores válidos van de 73728 a 10485760 bytes.

linkBufferSize

Iniciador
Tiempo de espera de respuesta 86400000 El número de milisegundos que se debe esperar a que se complete la consulta de destino antes de agotar el tiempo de espera y detener la operación. El tejido detiene y libera todos los recursos asociados a consultas cuya duración supera el valor establecido en las propiedades del enlace de destino o las propiedades del conector de destino. Los conectores superan el tiempo de espera cuando las respuestas del tejido superan su valor de tiempo de espera de respuesta.

Los valores válidos van de 300000 a 172800000.

responseTimeout

Iniciador, destino
Tiempo de inactividad de conexión máximo 86.400 segundos El tiempo de inactividad máximo para el objeto de caché de conexión, después del cual el objeto se cierra y se quita de la caché. Utilice esta propiedad cuando haya varios usuarios simultáneos y consultas que se ejecuten en el sistema que podrían conducir al colapso de los objetos de conexión.

Los valores válidos van de 1 a 86.400 segundos.

  Destino
Tamaño del grupo de conexiones 100 Número máximo de objetos de conexión que se pueden almacenar en un grupo de conexiones. Al adquirir una nueva conexión, el conector comprueba si hay espacio disponible en el grupo. Si no hay espacio disponible en el grupo de conexiones, la conexión fallará después de 5 minutos. Solo se permite un grupo de conexiones y una configuración de nombre de usuario por conector.

Los valores válidos van de 1 a 10.000.

  Destino
Frecuencia de desalojo de conexiones 30 minutos Frecuencia de los controles de desalojo. Los objetos de conexión de la agrupación se comprueban, se cierran y se eliminan si el tiempo de inactividad (hora actual - última vez que se usó) de un objeto de conexión es mayor que el ajuste de tiempo de inactividad máximo de conexión.

Reduzca el tiempo entre comprobaciones si hay varios usuarios simultáneos ejecutando consultas para borrar las conexiones con mayor frecuencia.

Los valores válidos van de 1 a 1.440 minutos.

  Destino