- Especifica el comportamiento del componente del conector de destino.
- Configura el modo en que se transforman los datos.
- Configura la capa de transporte de datos del enlace subyacente.
- Afecta al funcionamiento del conector de iniciador.
Los enlaces son configuraciones con nombre que incluyen un conector de inicio y otro de destino. Si la misma propiedad está establecida para un enlace y un conector, la configuración del enlace anula la configuración del conector.
Ficha básica
Conector de Spark | ||||
---|---|---|---|---|
Nombre | Default | Descripción | ¿Reemplazable? Nombre de la propiedad |
Tipo de conector |
Servidor | None | Se utiliza para la conexión con la base de datos de destino como parte de la cadena de conexión JDBC. Es la dirección IP o el nombre DNS del host de destino. | Destino | |
Puerto | 10016 | Los valores válidos para el conector de Spark van de 1026 a 65.535. | Destino | |
Nombre de la base de datos | Default | Nombre de la base de datos del conector, si no se proporciona en la consulta de usuario. La longitud máxima del nombre es de 255 caracteres. |
Destino | |
Mecanismo de ejecución de Spark | Servidor de Spark Thrift | Mecanismo utilizado por el conector de destino para enviar consultas a Spark. Los valores posibles son Spark Thrift Server y Spark Application. Spark Thrift Server no es compatible con CDH ni con CDP. |
Destino | |
Ruta de inicio de Spark | /usr/hdp/current/spark2-client/ | Ruta de acceso al directorio principal de Spark, donde reside el subdirectorio /jars que contiene todos los archivos .jar de la biblioteca de Spark. | Destino | |
Rutas de archivo de configuración | /etc/hadoop/conf/, /etc/spark2/conf/ |
Rutas de acceso a core-site.xml, hdfs-site.xml y hive-site.xml (si están disponibles) en una lista separada por comas. | Destino |
Ficha Seguridad
Conector de Spark | ||||
---|---|---|---|---|
Nombre | Default | Descripción | ¿Reemplazable? Nombre de la propiedad |
Tipo de conector |
Mecanismo de autenticación | None | Mecanismo de seguridad general para el clúster. Para clústeres de HDInsight cuando se utilice el paquete de seguridad de empresa (ESP, por sus siglas en inglés), seleccione Kerberos. |
Destino | |
Nombre de usuario | Hive | Nombre del usuario. La longitud máxima es de 255 caracteres. Un nombre de usuario agregado para un conector o un enlace de conector de destino debe incluirse en Usuarios del sistema operativo admitidos. Este NVP se guarda en la configuración de QueryGrid Manager y es necesario cuando el iniciador no admite un mecanismo para proporcionar credenciales de usuario. El nombre de usuario también se utiliza para realizar comprobaciones de diagnóstico de conectividad. |
Destino | |
Contraseña | None | Contraseña de la cuenta de usuario o de servicio. | Destino | |
Tabla de claves | None | Ruta absoluta al archivo keytab de Kerberos. QueryGrid solo utiliza el archivo keytab para la autenticación si no se proporciona un nombre de usuario y una contraseña. | Destino | |
Ruta TrustStore SSL | None | Ruta de almacén de claves o TrustStore SSL para la autenticación en el servidor Spark Thrift cuando SSL está habilitado. No es necesaria si las claves se almacenan en el almacén de confianza de Java. |
Destino | |
Contraseña TrustStore SSL | None | Contraseña de almacén de claves o TrustStore SSL para la autenticación en el servidor Spark Thrift cuando SSL está habilitado. No es necesaria si las claves se almacenan en el almacén de confianza de Java. |
Destino |
Ficha Motor de consultas
Conector de Spark | ||||
---|---|---|---|---|
Nombre | Default | Descripción | ¿Reemplazable? Nombre de la propiedad |
Tipo de conector |
Número de ejecutores | None | Unidad de paralelismo cuando los datos se exportan o importan en Spark SQL. | ● numExecutors |
Iniciador, destino |
Nombre de cola | None | Nombre de la cola que envía los trabajos de Spark. Modo de aplicación Spark solamente. | ● queueName |
Destino |
Propiedades de Hadoop | None | Especifica las propiedades del entorno Hadoop de una sesión de usuario. Las propiedades se indican en una lista. Use = entre cada propiedad y su valor (name=value, name=value, name=value), y una coma como separador entre propiedades, con o sin espacio tras la coma. Por ejemplo: mapred.job.queue.name=abcdef,mapreduce.task.timeout=3600000,mapreduce.map.speculative=falseSi no se seleccionan las propiedades de Hadoop, se utilizan las propiedades de entorno Hadoop predeterminadas. |
● hadoopProperties |
Destino |
Códec de compresión | Valor predeterminado del sistema | Tipo de compresión que se utilizará al exportar a un tabla Spark de destino. Los valores válidos son System Default, Deflate, BZip2, GZip, LZ4 y Snappy. | ● compressionCodec |
Destino |
Rutas JAR adicionales de Spark | None | Especifica la ruta o rutas de directorio donde se encuentran los archivos .jar necesarios. Recomendado solo cuando el directorio de inicio de Spark no contiene un archivo .jar de la biblioteca de Spark necesario. | Destino | |
JAR personalizados de Spark | None | Especifica la ruta o rutas de los archivos .jar de la biblioteca de Spark. Recomendado solo cuando se necesita un nuevo .jar de la biblioteca de Spark. | Destino |
Ficha Avanzado
Conector de Spark | ||||
---|---|---|---|---|
Nombre | Default | Descripción | ¿Reemplazable? Nombre de la propiedad |
Tipo de conector |
Nombre de base de datos temporal | Default | Nombre de la base de datos temporal para almacenar tablas y vistas temporales. | ● tempDbName |
Destino |
Habilitar registro | INFO | Ejecuta consultas con el modo de depuración habilitado. Los valores válidos son NONE, WARN, INFO y DEBUG. |
Iniciador, destino | |
Habilitar el registro de consultas | True | Cuando se establece en true, QueryGrid registra el texto de la consulta en su unidad local. Cuando se establece en false, el texto de la consulta no se registra. Si se selecciona false, se evita que los datos confidenciales del cliente se puedan guardar fuera de la base de datos para entornos que cumplen con los requisitos, tales como Teradata VantageCloud Lake. |
Destino | |
Deshabilitar aplicación | False | Cuando se establece en verdadero, deshabilita la aplicación de todas las condiciones de consulta para el sistema de destino. Algunos atributos de nivel de sistema, nivel de sesión y nivel de columna de la consulta, como casespecific, pueden afectar a los resultados de comparación de cadenas de caracteres. Estos atributos pueden provocar que algunas consultas devuelvan resultados incorrectos debido al filtrado incorrecto de filas en el sistema de destino. Para evitar resultados incorrectos provocados por la aplicación de condiciones en situaciones donde la configuración del sistema de inicio no coincide con la configuración del sistema de destino, puede deshabilitar la aplicación de todas las condiciones en el sistema de destino. Si se designa como reemplazable, esta propiedad solo se puede anular en el nivel de sesión de falso a verdadero (lo que indica que se está deshabilitando la aplicación), pero no se puede cambiar de verdadero a falso. |
● disablePushdown |
Iniciador |
Compatibilidad de 16.20+ con LOB | True | En las versiones de sistemas de Teradata 16.20 y posteriores, las columnas STRING y BINARY en Spark SQL se asignan a CLOB y BLOB de forma predeterminada. Anule la selección de esta opción para asignar las columnas STRING y BINARY a VARCHAR y VARBYTE, respectivamente. Deshabilite esta opción si hay un gran número de columnas STRING/BINARY en la tabla de Spark. |
● lobSupport |
Destino |
Tamaño de cadena predeterminado | 32.000 caracteres | El tamaño de truncamiento VARCHAR. Es el tamaño en el que se truncan los datos importados de columnas de cadena o exportados a ellas. El valor representa el número máximo de caracteres Unicode que se importarán y el valor predeterminado es de 32.000 caracteres. QueryGrid trunca las columnas de cadena en el valor predeterminado establecido en defaultStringSize. Los valores válidos van de 1 a 1.048.544.000 caracteres. Esto es para un enlace de Teradata a Spark, lo utiliza el conector de destino de Spark y es aplicable cuando el sistema de Teradata de inicio no admite tipos de datos CLOB con QueryGrid. Con la compatibilidad con CLOB, no se utiliza el tamaño de cadena predeterminado. |
● defaultStringSize |
Destino |
Tamaño binario predeterminado | 64.000 bytes | El tamaño de truncamiento predeterminado para los tipos VARBINARY. Los valores válidos van de 1 a 2.097.088.000 bytes. Esto es para un enlace de Teradata a Spark, lo utiliza el conector de destino de Spark y es aplicable cuando el sistema de Teradata de inicio no admite tipos de datos BLOB con QueryGrid. Con la compatibilidad con BLOB, no se utiliza el tamaño binario predeterminado. |
● defaultBinarySize |
Destino |
Recopilar recuento de actividad aproximada | False | Muestra el número aproximado de filas exportadas al origen de datos de destino. Cuando se establece en false, el recuento de actividades muestra un 1. Cuando se establece en true, se devuelve un recuento de actividades aproximado. Ejecuta la sincronización como servicio principal cuando se establece como true. Si no se especifica, el valor predeterminado es false. |
● collectActivityCount |
Destino |
Recuento de búferes de enlace | 4 | Es el número máximo de búferes de escritura disponibles en un solo canal a la vez. El recuento de búferes de enlace sobrescribe la propiedad de tejido interna predeterminada shmDefaultNumMemoryBuffers.
Los valores válidos van de 2 a 16. |
● linkBufferCount |
Iniciador, destino |
Tamaño de búfer de enlace | 1048576 | Tamaño máximo de los búferes de escritura que se asignarán al manejo de filas y al intercambio de mensajes. Los valores válidos van de 73728 a 10485760 bytes. |
● linkBufferSize |
Iniciador, destino |
Tiempo de espera de respuesta | 86400000 | El número de milisegundos que se debe esperar a que se complete la consulta de destino antes de agotar el tiempo de espera y detener la operación. El tejido detiene y libera todos los recursos asociados a consultas cuya duración supera el valor establecido en las propiedades del enlace de destino o las propiedades del conector de destino. Los conectores superan el tiempo de espera cuando las respuestas del tejido superan su valor de tiempo de espera de respuesta. Los valores válidos van de 300000 a 172800000. |
● responseTimeout |
Iniciador, destino |
Tiempo de inactividad de conexión máximo | 86.400 segundos | El tiempo de inactividad máximo para el objeto de caché de conexión, después del cual el objeto se cierra y se quita de la caché. Utilice esta propiedad cuando haya varios usuarios simultáneos y consultas que se ejecuten en el sistema que podrían conducir al colapso de los objetos de conexión. Los valores válidos van de 1 a 86.400 segundos. |
Destino | |
Tamaño del grupo de conexiones | 100 | Número máximo de objetos de conexión que se pueden almacenar en un grupo de conexiones. Al adquirir una nueva conexión, el conector comprueba si hay espacio disponible en el grupo. Si no hay espacio disponible en el grupo de conexiones, la conexión fallará después de 5 minutos. Solo se permite un grupo de conexiones y una configuración de nombre de usuario por conector. Los valores válidos van de 1 a 10.000. |
Destino | |
Frecuencia de desalojo de conexiones | 30 minutos | Frecuencia de los controles de desalojo. Los objetos de conexión de la agrupación se comprueban, se cierran y se eliminan si el tiempo de inactividad (hora actual - última vez que se usó) de un objeto de conexión es mayor que el ajuste de tiempo de inactividad máximo de conexión. Reduzca el tiempo entre comprobaciones si hay varios usuarios simultáneos ejecutando consultas para borrar las conexiones con mayor frecuencia. Los valores válidos van de 1 a 1.440 minutos. |
Destino |