- Especifica el comportamiento del componente del conector de destino.
- Configura el modo en que se transforman los datos.
- Configura la capa de transporte de datos del enlace subyacente.
- Afecta al funcionamiento del conector de iniciador.
Los enlaces son configuraciones con nombre que incluyen un conector de inicio y otro de destino. Si la misma propiedad está establecida para un enlace y un conector, la configuración del enlace anula la configuración del conector.
Ficha básica
Conector de Hive | ||||
---|---|---|---|---|
Nombre | Default | Descripción | ¿Reemplazable? Nombre de la propiedad |
Tipo de conector |
Servidor | None | Se utiliza para la conexión con la base de datos de destino como parte de la cadena de conexión JDBC. Es la dirección IP o el nombre DNS del host de destino. | Destino | |
Puerto | 10000 | Los valores válidos para Hiveserver 2 van de 1.026 a 65.535. | Destino | |
Nombre de la base de datos | Default | Nombre de la base de datos del conector, si no se proporciona en la consulta de usuario. La longitud máxima del nombre es de 255 caracteres. |
Destino | |
Rutas de archivo de configuración | /etc/hadoop/conf/, /etc/hive/conf/ |
Rutas de acceso a core-site.xml y hive-site.xml en una lista separada por comas. Si existen el hive-site.xml de Hiveserver2 y el hive-site.xml de LLAP, el hive-site.xml de LLAP tiene una prioridad más alta, por lo que es el que se utiliza cuando ambos archivos existen pero contienen valores diferentes. Esta configuración es obligatoria. |
Destino |
Ficha Seguridad
Conector de Hive | ||||
---|---|---|---|---|
Nombre | Default | Descripción | ¿Reemplazable? Nombre de la propiedad |
Tipo de conector |
Mecanismo de autenticación | None | Mecanismo de autenticación utilizado en el origen de datos de destino. Los valores válidos son Ninguno, Kerberos, Kerberos de confianza, SSO de Kerberos y HS2Only. Esta configuración es obligatoria. Para clústeres de HDInsight cuando se utilice el paquete de seguridad de empresa (ESP, por sus siglas en inglés), seleccione Kerberos. |
Destino | |
Nombre de usuario | Hive | Nombre del usuario. La longitud máxima es de 255 caracteres. Un nombre de usuario agregado para un conector o un enlace de conector de destino debe incluirse en Usuarios del sistema operativo admitidos. Este NVP se guarda en la configuración de QueryGrid Manager y es necesario cuando el iniciador no admite un mecanismo para proporcionar credenciales de usuario. El nombre de usuario también se utiliza para realizar comprobaciones de diagnóstico de conectividad. |
Destino | |
Contraseña | None | Contraseña de usuario. La longitud máxima es de 255 caracteres. Solo se utiliza si se usa la seguridad Kerberos, Kerberos de confianza o HS2Only. |
Destino | |
Tabla de claves | None | Ruta absoluta al archivo de tabla de claves de Kerberos. QueryGrid solo lo utiliza para la autenticación si el usuario no proporciona un nombre de usuario y una contraseña. | Destino | |
Entidad de seguridad de Kerberos de Hive | None | La entidad de seguridad de HiveServer2 en formato de x/y@z. Reemplaza la entidad de seguridad que se lee de hive-site.xml para HiveServer2. Necesaria cuando se utiliza Kerberos en CDH o CDP. |
Destino | |
Soporte de roles | False | Habilite el soporte de rol de usuario para el sistema de destino. Cuando se establece como verdadero, el rol de usuario del iniciador o el destino se aplica al sistema de destino en función de la asignación de roles, si existe. Si el clúster está configurado para admitir roles, se devuelven errores al usuario. Si el clúster no está configurado para admitir roles, no se aplica el rol de usuario. Cuando se establece como falso, los roles no se aplican al sistema de destino. |
● roleSupport |
Destino |
Host de puerta de enlace de Knox | None | Host de puerta de enlace de Knox. El uso de esta propiedad indica que se está utilizando Knox. | Destino | |
Puerto de puerta de enlace de Knox | 8443 | Número de puerto de puerta de enlace de Knox. Los valores válidos van de 1024 a 65.535. Necesaria cuando solo se utiliza Knox. |
Destino | |
Ruta del contexto de Knox | puerta de enlace/predeterminado/hive | Ruta de contexto de Knox para HS2, por ejemplo: gateway/mycluster/hive Necesaria cuando solo se utiliza Knox. |
Destino | |
Ruta del almacén de confianza de Knox | None | Ruta del almacén de confianza de la puerta de enlace de Knox. Necesaria cuando solo se utiliza Knox. |
Destino | |
Contraseña del almacén de confianza de Knox | None | Contraseña del almacén de confianza de la puerta de enlace de Knox. Necesaria cuando solo se utiliza Knox. |
Destino | |
Nombre de usuario de la conexión de Knox | None | Nombre de usuario para la conexión Knox. Necesaria cuando solo se utiliza Knox. |
Destino | |
Contraseña de la conexión de Knox | None | Contraseña para la conexión Knox. Necesaria cuando solo se utiliza Knox. |
Destino | |
Ruta TrustStore SSL | None | Especifica la ruta del archivo TrustStore al conectarse a un hiveserver2 con SSL habilitado.
|
Destino | |
Contraseña TrustStore SSL | None | Especifica la contraseña TrustStore SSL cuando se habilita SSL para hiveserver2. | Destino |
Ficha Motor de consultas
Conector de Hive | ||||
---|---|---|---|---|
Nombre | Default | Descripción | ¿Reemplazable? Nombre de la propiedad |
Tipo de conector |
Motor de ejecución de Hive | mr | Motor de ejecución de Hive que se debe utilizar. Los valores posibles son mr, tez o spark. No todos los valores se admiten en todas las implementaciones de Hive. |
● hiveEngine |
Iniciador, destino |
Número de asignadores | 3 * número de nodos de datos | El número de asignadores (equivalente a contenedores) en el clúster. Define el paralelismo máximo por clúster y por consulta. Es aplicable cuando se exportan datos a Hive mediante una exportación de Teradata a Hive o al importar datos a Hive mediante una importación de Hive a Teradata. Los valores siguientes están pensados para ser valores de inicio conservadores:
|
● numMappers |
Iniciador, destino |
Nombre de cola | None | Nombre de la cola que envía el trabajo MR, Tez o Spark. | ● queueName |
Iniciador, destino |
HiveServer2 HA habilitada | False | Indica si se deben utilizar las opciones de Zookeeper HA como parte de la cadena de conexión JDBC. Establézcalo en true si se conecta a un servidor Zookeeper para el equilibrio de carga. | ● isHS2HAEnabled |
Destino |
Ruta de biblioteca Hadoop | Ruta de biblioteca Hadoop predeterminada | Necesario si Hadoop utiliza una ruta de instalación personalizada en lugar de la ruta Hadoop predeterminada, o si cualquier archivo .jar de Hadoop se guarda fuera de la biblioteca Hadoop predeterminada. Escriba las rutas en una lista separada por comas. Consulte Configuración del conector de Hive para su uso con una ruta de biblioteca Hadoop personalizada o una ruta JAR personalizada. Si no hay información personalizada disponible, se utiliza la ruta de biblioteca Hadoop predeterminada. |
Destino | |
Ruta JAR personalizada | None | Especifica la ruta o rutas para usar con los archivos .jar que no se enumeran en Archivos JAR de Hadoop. Escriba las rutas en una lista separada por comas. Consulte Configuración del conector de Hive para su uso con una ruta de biblioteca Hadoop personalizada o una ruta JAR personalizada. | Destino | |
Propiedades de Hadoop | None | Especifica las propiedades del entorno Hadoop de una sesión de usuario. Las propiedades se indican en una lista. Use = entre cada propiedad y su valor (name=value, name=value, name=value), y una coma como separador entre propiedades, con o sin espacio tras la coma. Por ejemplo: mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=falseSi no se seleccionan las propiedades de Hadoop, se utilizan las propiedades de entorno Hadoop predeterminadas. |
● hadoopProperties |
Destino |
Códec de compresión | Valor predeterminado del sistema | Tipo de compresión que se utiliza al exportar a una tabla de Hive. Los valores válidos son System Default, Deflate, BZip2, Gzip, LZ4 y Snappy. | ● compressionCodec |
Destino |
Número de núcleos por ejecutor | None | Solo para Hive en Spark. Controla el número de tareas simultáneas que puede ejecutar un ejecutor.Si no se especifica un valor, se utilizará el sistema predeterminado. | ● numExecutorCores |
Iniciador, destino |
Ficha Avanzado
Conector de Hive | ||||
---|---|---|---|---|
Nombre | Default | Descripción | ¿Reemplazable? Nombre de la propiedad |
Tipo de conector |
Nombre de base de datos temporal | Default | Nombre de la base de datos temporal para almacenar tablas y vistas temporales. | ● tempDbName |
Destino |
Habilitar registro | INFO | Nivel de registro de las propiedades de conector o de enlace. La configuración de registro de nivel de usuario puede establecerse explícitamente a través de la página para agregar o editar enlaces del portlet QueryGrid. Esta configuración se aplica al conector de inicio y al de destino; sin embargo, el nivel de registro del conector de inicio para el enlace tiene prioridad si los conectores se configuraron de distinta manera. Los valores válidos son NONE, WARN, INFO y DEBUG. |
Iniciador, destino | |
Habilitar el registro de consultas | True | Cuando se establece en true, QueryGrid registra el texto de la consulta en su unidad local. Cuando se establece en false, el texto de la consulta no se registra. Si se selecciona false, se evita que los datos confidenciales del cliente se puedan guardar fuera de la base de datos para entornos que cumplen con los requisitos, tales como Teradata VantageCloud Lake. |
Destino | |
Compatibilidad de 16.20+ con LOB | True | En las versiones de sistemas de Teradata 16.20 y posteriores, las columnas STRING y BINARY en Hive se asignan a CLOB y BLOB de forma predeterminada. Anule la selección de esta opción para asignar las columnas STRING y BINARY a VARCHAR y VARBYTE, respectivamente. Deshabilite esta opción si hay un gran número de columnas STRING/BINARY en la tabla de Hive. |
● lobSupport |
Destino |
Tamaño de cadena predeterminado | 32.000 caracteres | El tamaño de truncamiento VARCHAR. Es el tamaño en el que se truncan los datos importados de columnas de cadena o exportados a ellas. El valor representa el número máximo de caracteres Unicode que se importarán y el valor predeterminado es de 32.000 caracteres. QueryGrid trunca las columnas de cadena en el valor predeterminado establecido en defaultStringSize si es inferior al tamaño real de la columna. Los valores válidos van de 1 a 1.048.544.000 caracteres. Esto es para un enlace de Teradata a Hive, lo utiliza el conector de destino de Hive y es aplicable cuando el sistema de Teradata de inicio no admite tipos de datos CLOB con QueryGrid. Con la compatibilidad con CLOB, no se utiliza el tamaño de cadena predeterminado. |
● defaultStringSize |
Destino |
Tamaño binario predeterminado | 64.000 bytes | El tamaño de truncamiento predeterminado para los tipos VARBINARY. Los valores válidos van de 1 a 2.097.088.000 bytes. Esto es para un enlace de Teradata a Hive, lo utiliza el conector de destino de Hive y es aplicable cuando el sistema de Teradata de inicio no admite tipos de datos BLOB con QueryGrid. Con la compatibilidad con BLOB, no se utiliza el tamaño binario predeterminado. |
● defaultBinarySize |
Destino |
Deshabilitar aplicación | False | Cuando se establece en verdadero, deshabilita la aplicación de todas las condiciones de consulta para el sistema de destino. Algunos atributos de nivel de sistema, nivel de sesión y nivel de columna de la consulta, como casespecific, pueden afectar a los resultados de comparación de cadenas de caracteres. Estos atributos pueden provocar que algunas consultas devuelvan resultados incorrectos debido al filtrado incorrecto de filas en el sistema de destino. Para evitar resultados incorrectos provocados por la aplicación de condiciones en situaciones donde la configuración del sistema de inicio no coincide con la configuración del sistema de destino, puede deshabilitar la aplicación de todas las condiciones en el sistema de destino. Si se designa como reemplazable, esta propiedad solo se puede anular en el nivel de sesión de falso a verdadero (lo que indica que se está deshabilitando la aplicación), pero no se puede cambiar de verdadero a falso. |
● disablePushdown |
Iniciador |
Recopilar recuento de actividad aproximada | False | Muestra el número aproximado de filas exportadas al origen de datos de destino. Cuando se establece en false, el recuento de actividades muestra un 1. Cuando se establece en true, se devuelve un recuento de actividades aproximado. Ejecuta la sincronización como servicio principal cuando se establece como true. Si no se especifica, el valor predeterminado es false. |
● collectActivityCount |
Destino |
Compatibilidad con reintentos de tareas de Hive | False | Cuando se establece como verdadero, el tejido está habilitado para admitir reintentos de tarea de Hive. Cuando se habilita, el tejido no falla en la consulta cuando se vuelven a intentar tareas de Hive. En su lugar, el tejido descarta los datos recibidos de un intento de tarea fallido y continúa el procesamiento de los datos de tarea desde el reintento. Esta característica solo se admite cuando Hive es el origen de datos, donde Hive está importando datos como un destino o exportando datos como un iniciador, y el motor de ejecución es mr o tez.
|
Iniciador, destino | |
Ruta de archivo de Spool | /var/opt/teradata/tdqg/fabric/data/ | Ruta de acceso local que se usará para los archivos spool si el tejido está habilitado para admitir reintentos de tarea de Hive. Cuando se especifica una ruta de acceso personalizada, el directorio especificado debe estar presente en todos los nodos de datos de Hadoop configurados en un clúster de QueryGrid. El directorio debe tener permisos de lectura, escritura y ejecución para crear, leer y escribir archivos y subdirectorios para el grupo de SO querygrid y el usuario de SO tdqg.
|
Iniciador, destino | |
Recuento de búferes de enlace | 4 | Es el número máximo de búferes de escritura disponibles en un solo canal a la vez. El recuento de búferes de enlace sobrescribe la propiedad de tejido interna predeterminada shmDefaultNumMemoryBuffers.
Los valores válidos van de 4 a 8. |
● linkBufferCount |
Iniciador, destino |
Tamaño de búfer de enlace | 1048576 | Tamaño máximo de los búferes de escritura que se asignarán al manejo de filas y al intercambio de mensajes. Los valores válidos van de 73728 a 10485760 bytes. |
● linkBufferSize |
Iniciador |
Tiempo de espera de respuesta | 86400000 | El número de milisegundos que se debe esperar a que se complete la consulta de destino antes de agotar el tiempo de espera y detener la operación. El tejido detiene y libera todos los recursos asociados a consultas cuya duración supera el valor establecido en las propiedades del enlace de destino o las propiedades del conector de destino. Los conectores superan el tiempo de espera cuando las respuestas del tejido superan su valor de tiempo de espera de respuesta. Los valores válidos van de 300000 a 172800000. |
● responseTimeout |
Iniciador, destino |
Tiempo de inactividad de conexión máximo | 86.400 segundos | El tiempo de inactividad máximo para el objeto de caché de conexión, después del cual el objeto se cierra y se quita de la caché. Utilice esta propiedad cuando haya varios usuarios simultáneos y consultas que se ejecuten en el sistema que podrían conducir al colapso de los objetos de conexión. Los valores válidos van de 1 a 86.400 segundos. |
Destino | |
Tamaño del grupo de conexiones | 100 | Número máximo de objetos de conexión que se pueden almacenar en un grupo de conexiones. Al adquirir una nueva conexión, el conector comprueba si hay espacio disponible en el grupo. Si no hay espacio disponible en el grupo de conexiones, la conexión fallará después de 5 minutos. Solo se permite un grupo de conexiones y una configuración de nombre de usuario por conector. Los valores válidos van de 1 a 10.000. |
Destino | |
Frecuencia de desalojo de conexiones | 30 minutos | Frecuencia de los controles de desalojo. Los objetos de conexión de la agrupación se comprueban, se cierran y se eliminan si el tiempo de inactividad (hora actual - última vez que se usó) de un objeto de conexión es mayor que el ajuste de tiempo de inactividad máximo de conexión. Reduzca el tiempo entre comprobaciones si hay varios usuarios simultáneos ejecutando consultas para borrar las conexiones con mayor frecuencia. Los valores válidos van de 1 a 1.440 minutos. |
Destino |