已知限制(Teradata 到 TargetConnector) - Teradata QueryGrid

Teradata® QueryGrid™ 安装和用户指南

Product
Teradata QueryGrid
Release Number
2.19
Published
2022 年 7 月
Language
中文 (简体)
Last Update
2022-08-23
dita:mapPath
zh-CN/jpf1654813554544.ditamap
dita:ditavalPath
ft:empty
dita:id
lxg1591800469257
Product Category
Analytical Ecosystem

以下限制会影响 QueryGrid 连接器在 Teradata 到目标连接器链接中的使用:

限制 T2T T2P T2H T2S T2O T2B T2G
不支持数据集 CSV 存储。 X X X X X X X
不支持系统之间的事务语义。 X X X X X X X
Teradata 到 Teradata 链接不支持使用 Returns 子句 X            
使用 EXPORT 子句查询时,如果在 FOREIGN TABLE 查询中未导入 LOB/LOB UDT,则无法导出 LOB UDT 数据类型。 X X X X X X X
WITH 子句不能在 FOREIGN TABLE 下推查询内使用。   X X X X X X
EXPORT 子句不支持带 Kanji1 字符集的 char/varchar。 X X X X X X X
如果远程系统时区与发起程序系统时区不同,则 WHERE 子句中使用的日期文本不会转换为远程系统时区。 X X X X X X X
BLOB 和 CLOB 支持的大小上限小于 2GB (2,097,088,000)。 X X X X X X X
VARCHAR 的大小上限为 64k。 X            
Teradata Database 版本 15.10 不支持临时数据库名称 NVP。 X            
在使用 Advanced SQL Engine 17.05 或更早版本时,在外部服务器的单个会话期间,最多可以覆盖 8 个 Teradata Connector 属性。 X X X X X X X
使用 Advanced SQL Engine 17.05 或更早版本时,支持的最大查询带长度为 1024 字节 X X X X X X X
目标连接器不支持外部函数执行 (FFE) 功能。   X X X X X X
Presto 仅限用于可在内存中执行的查询,这样某些原本可在 Hive 中运行的查询可能无法在 Presto 中运行。   X          
Teradata QueryGrid 不支持对 Presto 连接器使用 TimeWithTimeZone 和 TimestampWithTimeZone 数据类型。   X          
以下 Hive 推测属性不受支持,缺省情况下处于禁用状态,除非Support Hive Task Retries参数设置为 True。
  • mapreduce.map.speculative=false
  • mapreduce.reduce.speculative=false
  • hive.mapred.reduce.tasks.speculative.execution=false
  • tez.am.speculation.enabled=false
    X        
缺省情况下,无论在成功的导出查询期间导出了多少行,Hive 目标连接器都会返回 1 作为导出的行数。将Collect Approximate Activity Count连接器属性设置为 true 将返回导出的行数,但有以下限制:
  • 如果 Hive 表统计信息不准确(这种情况并不常见),则启用此属性可能会导致插入查询的性能开销。
  • 如果 Hive 表上存在并发插入,可能会导致显示的行数不准确,从而获得近似结果,而不是精确数字。
    X        
如果升级了 Hive 或更改了标准 Hive JAR 的位置,则需要重新启动 tdqg-node。     X        
如果 UTF-16 补充字符超过了表中 2 个字节的限制,将会截断数据。     X X X X X
如果表字符集不是 Latin 或 UTF-16,则表的 VARCHAR、STRING 和 CHAR 列不支持 IMPORT。     X X X    
Spark 连接器不支持 ACID 表或事务表。       X      

在数据已导出并提交到远程系统后,本地系统上的任何后续错误或中止不会回滚远程请求。

X X X X X X X
Spark SQL 连接器不支持角色,因为 Spark 不支持角色。       X      
缺省情况下,无论在成功的导出查询期间导出了多少行,Spark SQL 目标连接器都会返回 1 作为导出的行数。将Collect Approximate Activity Count连接器属性设置为 true 将返回导出的行数,并会产生轻微的性能开销。如果 Spark SQL 表上同时出现多个插入,显示的行数则可能不准确,从而导致结果为近似值,而非精确的数字。       X      
可能的 Apache Spark 限制因素带来的结果如下:
  • Spark 2.1 及更高版本:在使用 Spark 发起程序时,如果在创建表示目标表的非本地表之后,该目标表的模式发生更改,则必须重新创建该非本地表以反映此模式更改。
  • Spark 2.2 及更高版本:在使用 Spark 目标连接器导入 DATE 类型的数据或使用 Spark 发起程序导出 DATE 类型的数据时,来自 Spark 的数据值可能不正确。
  • Spark 2.2 及更高版本:Spark 不支持 Char/Varchar;因此,当使用 Spark 目标连接器插入来自 QueryGrid 的数据,且目标表包含 char/varchar 列时,来自 QueryGrid 的数据可能不正确。要避免可能不正确的数据,请使用 String,不要使用 Char/Varchar。
  • 如果 Spark 已升级或标准 Spark JAR 的位置发生了更改,则需要重新启动 tdqg-node。
      X      
如果表字符集不是 Latin 或 UTF-16,则 Spark 表的 VARCHAR、STRING 和 CHAR 列不支持 IMPORT。       X      
不支持 LIMIT 子句的条件下推。 X X X X X X  
区分大小写的列名称。         X X X
与 WHERE 子句中的 DATE 进行比较可能会产生错误结果。 X X X X X X X
当 UTF-16 字符集设置为 Latin 时,请将 NVP 设置为 WE8ISO8859P1。         X    
BigQuery 连接器使用存储读取 API 和存储写入 API,二者都有一些记录在案的限制。

例如,在写入 BigQuery 时,最大行大小为 10MB,在不使用多区域时最多有 100 个并发线程。

请参阅 BigQuery 配额和限制文档。

          X  
由于存储写入 API 的限制,在单个查询中将超过 100GB 的数据写入 BigQuery 可能会导致在查询完成之前过早提交数据。           X  
BigQuery 联合数据源是只读的。因此,QueryGrid BigQuery 连接器可以从联合数据源读取数据,但不能向其中写入数据。           X  
BigQuery 连接器无法使用以下格式访问其他项目中的数据集:

select col1 from project_name.dataset_name.table_name@fs_name

请改用以下解决方法:

select * from foreign table (select col1 from project_name.dataset_name.table_name)@fs_name ft;

          X  
由于 Google 的限制,QueryGrid 不支持将 JSON 数值数据类型从 Teradata 导出到 BigQuery STRUCT。           X  
VARCHAR 的大小上限为 32k。             X
不支持 UDT。             X
涉及目标数据库中不存在的类型的 Export 子句查询将引发错误。             X
不支持涉及数据类型 TIME WITH TIMEZONE 和 TIMESTAMP WITH TIMEZONE 的 Export 子句查询。             X