重要:
- BigQuery 连接器只能用作目标连接器,不能用作发起连接器。
- 所有 BigQuery 目标连接器节点都必须是驱动程序节点,以实现与 BigQuery 系统间的通信和数据传输。
- 在能够访问 Google BigQuery 的主机上安装 BigQuery 目标连接器。
- 有关其他详细信息,请参阅在 Google Cloud 实例组上自动部署 QueryGrid。
以下是 BigQuery 目标连接器节点安装 QueryGrid 2.x 软件需要满足的最低要求:
- 4GB RAM
- 50GB 磁盘空间
- 有关支持的操作系统版本,请参阅 Teradata QueryGrid 兼容性列表。
- 在网络结构/连接器设置中定义的内存要求
- 最新版本的 JAVA 8 或 11
与其他连接器相比,使用 BigQuery 连接器时,运行 QueryGrid 驱动程序进程的系统能够处理更大的工作负载。驱动程序节点的 CPU 和内存配置对查询性能影响巨大。以下是使用不同 CPU 和内存配置的测试结果示例。可以使用多个驱动程序节点进行负载平衡。
吞吐量
每个查询的吞吐量会随着运行更多并发查询而降低,但系统的总吞吐量会增加。
对于以下参考数据,Teradata 和驱动程序节点之间使用 BYNET 连接:
2 个 CPU,8GB RAM,2GB DriverHeapSize,线程数 = 5
会话 | CPU 使用率 | 吞吐量 |
---|---|---|
单个读取会话 | 9.27% | 9.13MB/sec |
5 个并发读取会话 | 33.51% | 8.33MB/sec |
20 个并发读取会话 | 70.49% | 7.19MB/sec |
会话 | CPU 使用率 | 吞吐量 |
---|---|---|
单个写入会话 | 12.07% | 3.26MB/sec |
5 个并发写入会话 | 68.62% | 2.24MB/sec |
20 个并发写入会话 | 99.01% | 0.35MB/sec |
4 个 CPU,16GB RAM,2GB DriverHeapSize,线程数 = 5
会话 | CPU 使用率 | 吞吐量 |
---|---|---|
单个读取会话 | 3.76% | 9.12MB/sec |
5 个并发读取会话 | 14.63% | 8.6MB/sec |
20 个并发读取会话 | 29.69% | 8.83MB/sec |
会话 | CPU 使用率 | 吞吐量 |
---|---|---|
单个写入会话 | 5.52% | 3.37MB/sec |
5 个并发写入会话 | 50.46% | 2.94MB/sec |
20 个并发写入会话 | 97.71% | 0.66MB/sec |