Configuración de un servidor externo para un enlace de Spark SQL a Teradata - Teradata QueryGrid

QueryGrid™ Guía de instalación y uso- 3.06

Deployment
VantageCloud
VantageCore
Edition
Enterprise
IntelliFlex
Lake
VMware
Product
Teradata QueryGrid
Release Number
3.06
Published
Diciembre de 2024
ft:locale
es-ES
ft:lastEdition
2024-12-18
dita:mapPath
es-ES/ndp1726122159943.ditamap
dita:ditavalPath
ft:empty
dita:id
lxg1591800469257
Product Category
Analytical Ecosystem
Se utiliza el marco de la API de orígenes de datos para el conector del iniciador de Spark SQL QueryGrid. La API de orígenes de datos permite que Spark SQL acceda a datos almacenados en otros sistemas. Una tabla de Spark SQL creada mediante el marco de la API de orígenes de datos se denomina tabla no nativa.

La API de orígenes de datos opera a nivel de tabla de forma predeterminada, por lo que se debe crear una tabla no nativa para cada tabla remota, a diferencia de los servidores externos de Teradata y los catálogos de Presto, que operan a nivel de base de datos. No obstante, se ha incluido una biblioteca de servidores externos como parte del conector de Spark SQL que resuelve algunas de las limitaciones e inconvenientes a la hora de trabajar con tablas no nativas. Teradata recomienda que se utilice la biblioteca de servidores externos para interactuar con el iniciador de Spark SQL, por lo que todos los ejemplos de iniciador de Spark SQL de esta sección se basan en esta biblioteca. Para obtener información completa sobre la biblioteca de servidores externos, consulte Referencia de la API de la biblioteca de servidores externos para el conector del iniciador de Spark SQL.

Los siguientes pasos son un ejemplo de configuración de un servidor externo con el fin de usarlo con una conexión de Spark SQL a TargetConnector (donde TargetConnector es cualquier tipo de conector de destino):
  1. Establezca las propiedades de enlace para el enlace de Spark SQL a Teradata en el portlet QueryGrid.
  2. Inicie sesión en Scala REPL.
    Consulte Inicio de Scala REPL para obtener información.
  3. Importe la biblioteca de servidores externos y cree un objeto de servidor externo, por ejemplo:
    scala> import tdqg.ForeignServer
    import tdqg.ForeignServer
     
    scala> val s1 = new ForeignServer("spark_to_teradata_link","active","fs1")
    s1: tdqg.ForeignServer = tdqg.ForeignServer@4eb73cc8
  4. Utilice el servidor externo para mostrar esquemas remotos y verificar los resultados, por ejemplo:
    scala> s1.showSchemas
    +---------------+
    |DATABASE_NAME  |
    +---------------+
    |default	|
    |user1	|
    +---------------+