2.09 - 为 Spark SQL 连接器创建 HDFS 目录 - Teradata QueryGrid

Teradata® QueryGrid™ 安装和用户指南

prodname
Teradata QueryGrid
vrm_release
2.09
created_date
2019 年 5 月
category
安装
用户指南
管理
配置
featnum
B035-5991-059K-CHS
在使用 Spark SQL 连接器(发起程序或目标)之前,Hadoop 管理员必须创建 hdfs:///tdqg-spark/ 目录。此目录用于以下目的:
  • 首次使用时,此目录会存储通过 Spark SQL 连接器创建的虚拟文本文件,且 Spark SQL 连接器必须使用此目录才能进行工作。
  • 此目录会存储通过 Spark SQL 发起程序使用的用户定义的外部服务器对象的缓存文件。
  • 当使用Spark 应用程序执行机制运行目标连接器时,它用于存储临时文件。
访问 Spark SQL 连接器(发起程序或目标)的所有用户必须在目录中拥有写入访问权限。
  1. 登录到任意 Hadoop 节点。
  2. 使用命令创建目录:hdfs dfs -mkdir /tdqg-spark/
  3. 在以下示例中输入权限:hdfs dfs -chmod 777 /tdqg-spark/
    权限 777 是一个示例,实际使用的权限需由 Hadoop 管理员根据创建目录的需要来确定。