2.17 - BigQuery 连接器和链接属性 - Teradata QueryGrid

Teradata® QueryGrid™ 安装和用户指南

Product
Teradata QueryGrid
Release Number
2.17
Release Date
2021 年 12 月
Content Type
安装
用户指南
管理
配置
Publication ID
B035-5991-121K-CHS
Language
中文 (简体)
QueryGrid 门户组件中创建链接和相关属性时,将创建配置名称值对 (NVP)。NVP 将执行以下操作:
  • 指定目标连接器组件的行为
  • 配置数据的转换方式
  • 配置基础链接数据传输层

链接是指一些已命名的配置,其中包括目标连接器。如果为链接和连接器设置了相同的属性,则链接设置将覆盖连接器设置。

重要: BigQuery 连接器只能用作目标连接器。

“基本”选项卡

BigQuery 连接器
名称 缺省 说明 可覆盖?

属性名称

项目 ID 项目的唯一标识符。

这是必需的设置。

 
数据集名称 在查询中未指定数据集时使用的数据集名称。

这是必需的设置。

 

“安全”选项卡

BigQuery 连接器
名称 缺省 说明 可覆盖?

属性名称

身份验证机制 应用程序默认设置 集群上使用的身份验证机制。

有效值为应用程序缺省、服务帐户、刷新令牌 (OAuth)。

 
服务帐户密钥路径 服务帐户密钥 json 文件的路径。密钥必须存在于该路径中并且可以在每个驱动程序节点上进行访问。QueryGrid 必须对密钥具有读取权限。

Authentication Mechanism 设置为 Service Account 时使用此属性。此属性与 Service Account Key 不能同时使用。

 
服务帐户密钥 服务帐户密钥的内容放置在此属性中。密钥在 Viewpoint 和日志上进行编辑。

Authentication Mechanism 设置为 Service Account 时使用此属性。此属性与 Service Account Key Path 不能同时使用

 
客户端 ID 在未使用授权对象时与 OAuth Refresh Token Authentication 一起使用的客户端的 ClientID。

当“身份验证机制”设置为 Refresh Token (OAuth) 时需要此项。

 
客户端密钥 在未使用授权对象时与 OAuth Refresh Token Authentication 一起使用的客户端密钥。

当“身份验证机制”设置为 Refresh Token (OAuth) 时需要此项。

 
OAuth 刷新令牌 在未使用授权对象时与 OAuth 刷新令牌身份验证一起使用的刷新令牌。

当“身份验证机制”设置为 Refresh Token (OAuth) 时需要此项。

 
KMS 密钥名称 False 云 KMS 密钥的资源 ID。如果您不希望 Google Cloud 管理 QueryGrid 创建的临时表的加密密钥,请提供此值。  
如果在未修改文件名的情况下更新了 Service Account Key Path 文件的内容,或在使用 application_default 作为身份验证机制时更新了与 Google VM 关联的凭据,则必须使用 service tdqg-node restart 重新启动节点服务以清除缓存的连接。如果未执行重新启动,则可能会再次使用旧的缓存连接或凭据。

“高级”选项卡

BigQuery 连接器
名称 缺省 说明 可覆盖?

属性名称

临时数据集名称 QueryGrid 需要在运行查询时创建临时表。设置此属性会将临时表放置在项目内的指定 BigQuery 数据集中。

tempDbName

启用日志记录 INFO 连接器或链接属性的日志记录级别。用户级别日志设置可以通过 QueryGrid 组件中的添加编辑链接页面进行设置。

有效值:NONE、WARN、INFO 和 DEBUG。

 
16.20+ LOB 支持 True 在 Teradata 系统 16.20 及更高版本中,BigQuery 上的 STRING 和 BINARY 列会缺省映射到 CLOB 和 BLOB。请取消选择此选项以将 STRING 和 BINARY 列分别映射到 VARCHAR 和 VARBYTE。

如果 BigQuery 表中有大量 STRING/BINARY 列,请禁用此选项。

lobSupport

缺省字符串大小 32000 个字符 VARCHAR 截断大小。

该值表示要导入的最大 Unicode 字符数,缺省值为 32000 个字符。如果小于实际列大小,Teradata QueryGrid 将在 defaultStringSize 中设置的缺省值处截断字符串列。

有效值为 1-1048544000 个字符。

defaultStringSize

缺省二进制大小 64000 字节 VARBYTE 截断大小。

有效值为 1-2097088000 字节。

defaultBinarySize

最大传输线程数 5 用于从 BigQuery 为单个请求下载数据的最大线程数。

transferThreads

链接缓冲区计数 4 单通道上同时可用的最大 WRITE 缓冲区数量。
Link Buffer Count 会覆盖缺省内部结构属性 shmDefaultNumMemoryBuffers

有效值范围为 2–16。

linkBufferCount
响应超时 86400000 等待目标查询完成的毫秒数,随后目标查询超时并停止操作。网络结构停止并释放持续时间超过目标链接属性或目标连接器属性中设置的值相关联的所有资源。当网络结构的响应超过响应超时值时,连接器超时。

有效值为 300000-172800000。

responseTimeout
连接最大空闲时间 86400 秒 连接缓存对象的最大空闲时间,超过该时间之后,该对象将关闭并从缓存中移除。如果系统上运行着多个并发用户和查询,可能导致连接对象匮乏,请使用此属性。

有效值为 1-86400 秒。

 
连接池大小 100 连接池中可存储的最大连接对象数。在获取新连接时,连接器将检查池中的可用空间。如果连接池中可用空间不足,则连接将在 5 分钟后失败。仅允许为每个连接器配置提供一个连接池和用户名。

有效值为 1-10000。

 
连接逐出频率 30 分钟 逐出检查的频率。如果某个连接对象的空闲时间(当前时间-上次使用时间)超过Connection Max Idle Time设置,则会检查、关闭并移除池中的连接对象。

如果存在多个运行查询的并发用户,请缩短此检查间隔时间,以便更频繁地清除连接。

有效值为 1-1440 分钟。