为 Spark SQL 连接器创建 HDFS 目录 - Teradata QueryGrid

Teradata® QueryGrid™ 安装和用户指南

Product
Teradata QueryGrid
Release Number
2.19
Published
2022 年 7 月
Language
中文 (简体)
Last Update
2022-08-23
dita:mapPath
zh-CN/jpf1654813554544.ditamap
dita:ditavalPath
ft:empty
dita:id
lxg1591800469257
Product Category
Analytical Ecosystem
在使用 Spark SQL 连接器(发起程序或目标)之前,Hadoop 管理员必须创建 hdfs:///tdqg-spark/ 目录。此目录用于存储以下文件:
  • 首次使用时 Spark SQL 连接器创建的虚拟文本文件,Spark SQL 连接器必须使用此文件才能进行工作。
  • Spark SQL 发起程序使用的用户定义的外部服务器对象的缓存文件。
  • 使用 Spark Application Execution Mechanism运行目标连接器时的临时文件。

访问 Spark SQL 连接器(发起程序或目标)的所有用户必须在目录中拥有写入访问权限。

  1. 登录到任意 Hadoop 节点。
  2. 创建 tdqg-spark 目录:
    hdfs dfs -mkdir /tdqg-spark/
  3. 在以下示例中输入权限:
    hdfs dfs -chmod 777 /tdqg-spark/
    权限 777 是一个示例,实际使用的权限需由 Hadoop 管理员根据创建目录的需要来确定。