在使用 Spark SQL 连接器(发起程序或目标)之前,Hadoop 管理员必须创建 hdfs:///tdqg-spark/ 目录。此目录用于存储以下文件:
- 首次使用时 Spark SQL 连接器创建的虚拟文本文件,Spark SQL 连接器必须使用此文件才能进行工作。
- Spark SQL 发起程序使用的用户定义的外部服务器对象的缓存文件。
- 使用 Spark Application Execution Mechanism运行目标连接器时的临时文件。
访问 Spark SQL 连接器(发起程序或目标)的所有用户必须在目录中拥有写入访问权限。
- 登录到任意 Hadoop 节点。
- 创建 tdqg-spark 目录:hdfs dfs -mkdir /tdqg-spark/
- 在以下示例中输入权限:hdfs dfs -chmod 777 /tdqg-spark/权限 777 是一个示例,实际使用的权限需由 Hadoop 管理员根据创建目录的需要来确定。