2.15 - Spark SQL 数据类型映射 - Teradata QueryGrid

Teradata® QueryGrid™ 安装和用户指南

Product
Teradata QueryGrid
Release Number
2.15
Release Date
2021 年 3 月
Content Type
安装
用户指南
管理
配置
Publication ID
B035-5991-031K-CHS
Language
中文 (简体)

全局类型到 Spark SQL 数据类型

用星号 (*) 表示的全局数据类型仅适用于 Teradata Database 16.20 Feature Update 1 及更高版本。
全局数据类型 Spark SQL 数据类型
G_Array array
G_Array_VC_UTF16 / G_Array_VC_Latin * array
G_BigInt bigint
G_Blob binary
G_Boolean boolean
G_Byte binary
G_ByteInt tinyint
G_Char_Latin
Latin 数据类型映射仅用于使用 ISO_8859_1 或 US_ASCII 编码的数据类型。
string
G_Char_UTF16 string
G_Clob_Latin
Latin 数据类型映射仅用于使用 ISO_8859_1 或 US_ASCII 编码的数据类型。
string
G_Clob_UTF16 string
G_Date date
G_Decimal decimal
G_Double double
G_Float float
G_Integer integer
G_JSON_UTF16 / G_JSON_Latin * string
G_Map map
G_Number decimal
G_Row struct
G_SmallInt smallint
G_STGeometry * string
G_TimeStamp timestamp
G_Varbyte binary
G_Varchar_Latin
Latin 数据类型映射仅用于使用 ISO_8859_1 或 US_ASCII 编码的数据类型。
string
G_Varchar_UTF16 string
G_XML * string
其他 当前不支持

Spark SQL 数据类型到全局类型

Spark SQL 数据类型 全局数据类型
array G_Array
bigint G_BigInt
binary G_Blob
boolean G_Boolean
char G_Char_Latin
Latin 数据类型映射仅用于使用 ISO_8859_1 或 US_ASCII 编码的数据类型。
char G_Char_UTF16
date G_Date
decimal G_Decimal
double G_Double
float G_Float
integer G_Integer
map G_Map
smallint G_SmallInt
string G_Clob_Latin
Latin 数据类型映射仅用于使用 ISO_8859_1 或 US_ASCII 编码的数据类型。
string G_Clob_UTF16
struct G_Row
timestamp G_TimeStamp
tinyint G_ByteInt
varchar G_Varchar_Latin
Latin 数据类型映射仅用于使用 ISO_8859_1 或 US_ASCII 编码的数据类型。
varchar G_Varchar_UTF16

Spark SQL 字符串和二进制类型注意事项

Spark SQL 字符串和二进制列的大小上限为 1GB。但是,由于这些类型占用内存的特性,当其大小接近 1GB 限制时,Spark 端将需要大量的资源。因此,在使用 QueryGrid 时,将大型 Teradata CLOB 或 BLOB 列插入到 Spark SQL 字符串或二进制列时,请谨慎操作。