BigQuery 连接器驱动程序节点准则 - Teradata QueryGrid

Teradata® QueryGrid™ 安装和用户指南

Product
Teradata QueryGrid
Release Number
2.19
Published
2022 年 7 月
Language
中文 (简体)
Last Update
2022-08-23
dita:mapPath
zh-CN/jpf1654813554544.ditamap
dita:ditavalPath
ft:empty
dita:id
lxg1591800469257
Product Category
Analytical Ecosystem
重要:
  • BigQuery 连接器只能用作目标连接器,不能用作发起连接器。
  • 所有 BigQuery 目标连接器节点都必须是驱动程序节点,以实现与 BigQuery 系统间的通信和数据传输。
  • 在能够访问 Google BigQuery 的主机上安装 BigQuery 目标连接器。
  • 有关其他详细信息,请参阅在 Google Cloud 实例组上自动部署 QueryGrid
以下是 BigQuery 目标连接器节点安装 QueryGrid 2.x 软件需要满足的最低要求:
  • 4GB RAM
  • 50GB 磁盘空间
  • 有关支持的操作系统版本,请参阅 Teradata QueryGrid 兼容性列表
  • 在网络结构/连接器设置中定义的内存要求
  • 最新版本的 JAVA 8 或 11

与其他连接器相比,使用 BigQuery 连接器时,运行 QueryGrid 驱动程序进程的系统能够处理更大的工作负载。驱动程序节点的 CPU 和内存配置对查询性能影响巨大。以下是使用不同 CPU 和内存配置的测试结果示例。可以使用多个驱动程序节点进行负载平衡。

吞吐量

每个查询的吞吐量会随着运行更多并发查询而降低,但系统的总吞吐量会增加。
对于以下参考数据,Teradata 和驱动程序节点之间使用 BYNET 连接:
2 个 CPU,8GB RAM,2GB DriverHeapSize,线程数 = 5
会话 CPU 使用率 吞吐量
单个读取会话 9.27% 9.13MB/sec
5 个并发读取会话 33.51% 8.33MB/sec
20 个并发读取会话 70.49% 7.19MB/sec
会话 CPU 使用率 吞吐量
单个写入会话 12.07% 3.26MB/sec
5 个并发写入会话 68.62% 2.24MB/sec
20 个并发写入会话 99.01% 0.35MB/sec
4 个 CPU,16GB RAM,2GB DriverHeapSize,线程数 = 5
会话 CPU 使用率 吞吐量
单个读取会话 3.76% 9.12MB/sec
5 个并发读取会话 14.63% 8.6MB/sec
20 个并发读取会话 29.69% 8.83MB/sec
会话 CPU 使用率 吞吐量
单个写入会话 5.52% 3.37MB/sec
5 个并发写入会话 50.46% 2.94MB/sec
20 个并发写入会话 97.71% 0.66MB/sec