Implementar automáticamente QueryGrid en Amazon EMR - Teradata QueryGrid

QueryGrid™ Guía de instalación y uso- 3.06

Deployment
VantageCloud
VantageCore
Edition
Enterprise
IntelliFlex
Lake
VMware
Product
Teradata QueryGrid
Release Number
3.06
Published
Diciembre de 2024
ft:locale
es-ES
ft:lastEdition
2024-12-18
dita:mapPath
es-ES/ndp1726122159943.ditamap
dita:ditavalPath
ft:empty
dita:id
lxg1591800469257
Product Category
Analytical Ecosystem

EMR proporciona acciones de arranque que se pueden utilizar para instalar software personalizado en instancias de clúster. Para crear una acción de arranque, debe instalar un script de arranque e introducir información en el script. El script debe almacenarse en un URI al que se pueda acceder desde el clúster de EMR. Para obtener información de compatibilidad sobre los componentes de QueryGrid, consulte la Matriz de compatibilidad de QueryGrid.

El script necesario, TDQG_DEPLOYMENT.sh, se empaqueta en el paquete de nodos tdqg-node-version.tar.gz.

Para este procedimiento se asumen los siguientes requisitos previos:
  • Tiene los privilegios necesarios para aprovisionar el clúster de EMR y los scripts almacenados en una ubicación accesible desde el clúster de EMR.
  • La herramienta cURL se instala en todos los nodos en los que se instalará QueryGrid.
Tenga en cuenta las siguientes consideraciones con las acciones de arranque:
  • Solo se pueden proporcionar durante el aprovisionamiento de clústeres
  • No se pueden modificar después del aprovisionamiento clústeres
  • Siempre se conservan cuando se crean, todos los nodos futuros de EMR ejecutan las acciones de arranque
  1. Agregue un sistema y descargue el archivo de token tdqg-node.json generado por QueryGrid Manager en el servicio QueryGrid.
    Para obtener información sobre cómo descargar tdqg-node.json, consulte Agregación manual de nodos.
  2. Siga uno de estos procedimientos:
    Opción Acción
    Instalar QueryGrid™ en AWS EMR
    1. Descargue el paquete de nodos.

      Para obtener más información, consulte Descargar paquetes requeridos.

    2. Descomprima el paquete:

      tar -xvzf tdqg-node-version.tar.gz

      El script TDQG_DEPLOYMENT.sh está disponible en la ruta de acceso qgdeployment/emr, denominado TDQG_DEPLOYMENT.sh.

    3. Cargue el script de implementación de QueryGrid en AWS S3 (o en cualquier ruta que sea accesible desde el clúster de EMR).
    4. Para agregar el script de implementación como una acción de arranque personalizada al crear el clúster de EMR, seleccione Opciones avanzadas.
    5. En Configuración general de clústeres, escriba el nombre del clúster y habilite el registro.
    6. Vaya a Acciones de arranque > Añadir acción de arranque > Acción personalizada y seleccione Configurar.
    7. Proporcione los siguientes parámetros en la ventana Añadir acción de arranque:
      • Nombre: Escriba el nombre de la acción de arranque, como QueryGrid Deployment
      • Ubicación del script: Ruta de acceso para el archivo TDQG_DEPLOYMENT.sh como se mencionó previamente en el paso c. Por ejemplo:

        s3://path_to_s3_folder/TDQG_DEPLOYMENT.sh

      • Argumentos opcionales: Se pueden proporcionar como en el ejemplo siguiente:
        --tdqg_node_json_file s3://path_to_s3_folder/tdqg-node.json
        o como texto sin formato como en el ejemplo siguiente:
        --tdqg_node_json_file tdqg_node_json as text
        EMR no permite comillas dobles en la entrada de texto. Si proporciona un archivo de texto, evite las comillas dobles. Dado que las acciones de arranque no se pueden actualizar después de que se aprovisione el clúster, Teradata recomienda proporcionar el archivo como una ruta de acceso en lugar de texto.

        Ejemplo de uso de JSON en texto sin formato:

        --tdqg_node_json_file "{\"systemId\":\"c2f3d9e2-0bb1-4707-aa82-847a5ca94735\",\"manager" ...igId\":\"d6613e25-3c9d-479a-b8a7-57aae994c826\"}"
    8. Seleccione Agregar y finalice el asistente.

      Para obtener más información, consulte https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-bootstrap.html.

    Instalar QueryGrid en un nodo existente La ejecución del script de acciones de arranque requiere un usuario con permisos sudo.
    1. Ejecute TDQG_DEPLOYMENT.sh en cada nodo del clúster.

      Asegúrese de que el clúster no esté activo actualmente antes de ejecutarse.

    2. Escriba ./TDQG_DEPLOYMENT.sh -tdqg_node_json_file input, donde input puede ser uno de los siguientes:
      • Ruta de acceso a tdqg_node_json_file (método recomendado por Teradata)
      • Contenido del archivo tdqg_node_json completo
        EMR no permite comillas dobles en la entrada de texto. Si proporciona un archivo de texto, evite las comillas dobles. Dado que las acciones de arranque no se pueden actualizar después de que se aprovisione el clúster, Teradata recomienda proporcionar el archivo como una ruta de acceso en lugar de texto.
    Instalar QueryGrid en un nuevo nodo La acción de arranque en un nuevo nodo depende de cómo se ejecutó el script de TDQG_DEPLOYMENT.sh al aprovisionar el clúster de EMR.
    • Si ejecutó el script como acción de arranque personalizada, el script se ejecuta automáticamente en el nuevo nodo.
    • Si no ejecutó el script como una acción de arranque personalizada, ejecute el script en el nuevo nodo como si instalara el script en un nodo existente.