2.15 - 为 Spark SQL 连接器创建 HDFS 目录 - Teradata QueryGrid

Teradata® QueryGrid™ 安装和用户指南

Product
Teradata QueryGrid
Release Number
2.15
Release Date
2021 年 3 月
Content Type
安装
用户指南
管理
配置
Publication ID
B035-5991-031K-CHS
Language
中文 (简体)
在使用 Spark SQL 连接器(发起程序或目标)之前,Hadoop 管理员必须创建 hdfs:///tdqg-spark/ 目录。此目录用于以下目的:
  • 首次使用时,此目录会存储通过 Spark SQL 连接器创建的虚拟文本文件,且 Spark SQL 连接器必须使用此目录才能进行工作。
  • 此目录会存储通过 Spark SQL 发起程序使用的用户定义的外部服务器对象的缓存文件。
  • 当使用Spark Application Execution Mechanism运行目标连接器时,它用于存储临时文件。

访问 Spark SQL 连接器(发起程序或目标)的所有用户必须在目录中拥有写入访问权限。

  1. 登录到任意 Hadoop 节点。
  2. 创建 tdqg-spark 目录:
    hdfs dfs -mkdir /tdqg-spark/
  3. 在以下示例中输入权限:
    hdfs dfs -chmod 777 /tdqg-spark/
    权限 777 是一个示例,实际使用的权限需由 Hadoop 管理员根据创建目录的需要来确定。