ジョブの問題に対する解決方法 - Teradata QueryGrid

Teradata® QueryGrid™ インストールとユーザー ガイド

Product
Teradata QueryGrid
Release Number
2.11
Published
2019年12月
Language
日本語
Last Update
2020-04-13
dita:mapPath
ja-JP/fya1571089961130.ditamap
dita:ditavalPath
ft:empty
dita:id
lfq1484661135852
エラーが発生した際クエリーが失敗した理由の説明が何もない場合は、ログを有効にし、メッセージ数を増やすことで、サポート バンドルでエラーとメッセージを収集します。サポート バンドルをQueryGridマネージャに送信してトラブルシューティングを実行します。ロギング レベルを有効にする方法については、ロギングとエラーの処理を参照してください。

Teradataコネクタ

次のエラーは、Teradataシステムを開始することで発生します。
問題の説明 エラー メッセージ 解決方法
許可されているOSユーザーがイニシエータ システムで正しく設定されていません。 QGInitiatorExportContract: 2689: (NO UUID YET) ExportMeta : Connection not allowed for OS user id 14 イニシエータ コネクタで、許可されているOSユーザーを更新します。詳細については、Teradata QueryGridセキュリティを参照してください。
許可されているOSユーザーがターゲット システムで正しく設定されていません。 QGInitiatorExport: 9134: (a14554a5-8a07-492a-be57-000000000004) InitiatorDataExportReq : [Error 9134] QGRemoteImport: 2689: RemoteDataImportReq : Connection not allowed for OS user id 14 ターゲット コネクタで、許可されているOSユーザーを更新します。詳細については、Teradata QueryGridセキュリティを参照してください。
イニシエータ システムでシステム メモリが不足しています。 QGInitiatorExport: 10201: (7031532d-f2a4-4a7e-a983-000000000001) InitiatorDataExportReq : shm alloc failed. requested 4198400b + existing 4198400b > max 5mb, linkbuffer size:count 1048576b:4 イニシエータ システムのシステム メモリを増やします。
ターゲット システムでシステム メモリが不足しています。 qginitiatorimport: 9134: (4bb2afaf-e428-45f1-90e8-000000000001) initiatordataimportreq : [error 9134] qgremoteexport: 10201: remotedataexportreq : shm alloc failed. requested 4198400b + existing 4198400b > max 5mb, linkbuffer size:count 1048576b:4 ターゲット システムのシステム メモリを増やします。
(リンク バッファのサイズ×リンク バッファ)の数が許容値よりも高くなっています。 qginitiatorexportcontract: 2001: (no uuid yet) exportmeta : requested segment size for reader 1000000000b is larger than max allowed 16777216b イニシエータ コネクタのリンク バッファのサイズとリンク バッファ数を減らします。
イニシエータ コネクタでLinkHandshakeのタイムアウトが十分ではありません。 QGInitiatorExportContract: 2001: (NO UUID YET) ExportMeta : Handshake with Fabric hit timeout limit of 0 ms. Increase Link Handshake Timeout and retry query イニシエータ コネクタのプロパティでLinkHandshakeのタイムアウトを増やします。
ターゲット コネクタでLinkHandshakeのタイムアウトが十分ではありません。 QGInitiatorExport: 9134: (9c7d074e-4529-4a54-a664-000000000002) InitiatorDataExportReq : [Error 9134] QGRemoteImport: 2001: RemoteDataImportReq :Handshake with Fabric hit timeout limit of 0 ms. Increase Link Handshake Timeout and retry query ターゲット コネクタのプロパティでLinkHandshakeのタイムアウトを増やします。
ターゲット システムでドライバが起動していない/オフラインになっていないか、不正なjavaパス セットです。 QGInitiatorExportContract: 24585: (06592ddf-84cb-460b-afcd-000000000003) ExportMeta : Driver TDdriver unreachable by fabric on node sdt11134 ターゲット コネクタのドライバの状態を確認します。ドライバがオフラインの場合は、ノードでtdqg-nodeサービスを再起動します。
ターゲット コネクタのサーバー名が正しくありません。 QGInitiatorExportContract: 24582: (9c7d074e-4529-4a54-a664-000000000004) ExportMeta : [Error 1000] Login failure for Connection to fakehost Thu May 10 08:45:52 PDT 2018 ターゲット ホストのIPアドレスまたはDBS名として、ターゲット コネクタ プロパティのサーバー名を修正します。
テーブルがターゲット システム上に存在しません。 QGInitiatorExportContract: 3706: (9c7d074e-4529-4a54-a664-000000000004) ExportMeta : [Error 3807] Object 'testuser.temp_table_non_exist' does not exist. テーブルが存在し、クエリーに正しい参照があることを確認します。
ターゲット システムの構文エラー。 QGInitiatorExportContract: 3706: (9c7d074e-4529-4a54-a664-000000000004) ExportMeta : [Error 3706] Syntax error: SELECT * must have a FROM clause. 送信されたクエリー、およびターゲット システムに有効な構文があるかどうかを確認します。
foreignSQLパス スルーの構文エラー。

EXECUTEFOREIGNSQL:Error: 3707 (50081586-bd87-4516-9285-000

000000017) ForeignFunctionDataExec : [Error 3707] Syntax error, expected something like ‘(’ between the word ‘xx’ and ‘;’.

ExecuteForeignSQL SPで送信されたクエリー、およびターゲット システムに有効な構文があるかどうかを確認します。
QueryGridのfastpath関数、QGRemoteExportがターゲット システム上に存在しません。 QGInitiatorImport: 3706: (9c7d074e-4529-4a54-a664-000000000004) InitiatorDataImportReq : [Error 3706] Syntax error, expected something like ';' between the word 'QGRemoteExport' ターゲットTeradataシステムのTD_SYSFNLIBの下にfastpath関数が存在しない場合は、DIPスクリプトSystem Functionsを実行します。
QueryGridのfastpath関数、QGRemoteImportがターゲット システム上に存在しません。 QGInitiatorExport: 3706: (9c7d074e-4529-4a54-a664-000000000004) InitiatorDataExportReq : [Error 3706] Syntax error, expected something like ';' between the word 'QGRemoteImport' ターゲットTeradataシステムのTD_SYSFNLIBの下にfastpath関数が存在しない場合は、DIPスクリプトSystem Functionsを実行します。
イニシエータ システムでメタデータ リクエストのバッファ取得時に読み取りのタイムアウトを超過しました。 QGInitiatorImportContract: 2002: (9c7d074e-4529-4a54-a664-000000000006) ImportMeta : Hit read timeout (100ms) getting metadata buffer イニシエータ コネクタのプロパティでreadTimeoutを増やします。
ターゲット システムでデータ転送のバッファ取得時に読み取りのタイムアウトを超過しました。 QGInitiatorExport: 9134: (f942f99a-3011-413b-bf40-000000000008) InitiatorDataExportReq : [Error 9134] QGRemoteImport: 2002: ExecRemoteImport : Hit read timeout (100ms) getting read buffer ターゲット コネクタのプロパティでreadTimeoutを増やします。
イニシエータ システムでデータ転送のバッファ取得時に書き込みのタイムアウトを超過しました。 QGInitiatorExport: 2003: (f942f99a-3011-413b-bf40-000000000009) ExecInitExport : Hit write timeout (100ms) getting write buffer イニシエータ コネクタのプロパティでwriteTimeoutを増やします。
ターゲット システムでデータ転送のバッファ取得時に書き込みのタイムアウトを超過しました。 QGInitiatorImport: 9134: (43b11795-2f81-42dc-892c-000000000001) InitiatorDataImportReq : [Error 9134] QGRemoteExport: 2003: Hit timeout (50ms) getting write buffer ターゲット コネクタのプロパティでwriteTimeoutを増やします。
データ転送中にターゲット システムのスプール領域がなくなりました。 QGInitiatorExport: 2646: (a18b6bce-ce8a-4ea0-97b3-000000000008) InitiatorDataExportReq : [Error 2646] No more spool space in testuser. ターゲット システムでユーザーのスプール領域を増やすか、クエリーのデータセットを減らします。
イニシエータ システムでデータ変換中にエラーが発生しました。 QGInitiatorImport: 1018: (341cab15-7eb7-46b2-b78d-000000000ef2) UDT transform to internal format failed データ変換エラーは、イニシエータ システムとターゲット システムのデータ型が一致しないことにより発生した可能性があります。
ターゲット システムでデータ変換中にエラーが発生しました。 QGInitiatorExport: 40008: (6268d8db-a3c3-4b62-82bd-000000000002) Export failed. [Error 9134] QGRemoteImport: 1018: UDT transform to internal format failed データ変換エラーは、イニシエータ システムとターゲット システムのデータ型が一致しないことにより発生した可能性があります。
リンクでイニシエータ ネットワークのインターフェース設定が正しくありません。 QGInitiatorExport: 9134: (f0744a27-19bf-4ddb-b543-00000000000a) InitiatorDataExportReq : [Error 9134] qgremoteimport: 24582: remotedataimportreq : qgc import req exception:network 'ep_false_network' does not contain any viable address for node sdt14780.la リンクでイニシエータ ネットワークのインターフェース アドレスを修正します
リンクでターゲット ネットワークのインターフェースの設定を修正します。 QGInitiatorExportContract: 24602: (4bb2afaf-e428-45f1-90e8-00000000000b) ExportMeta : Network 'ep_false_network' does not contain any viable address for node sdt14781 リンクでターゲット ネットワークのインターフェース アドレスを修正します。
データ転送フェーズでターゲット ノードに接続するときに接続がタイムアウトになりました。 QGInitiatorExportContract: 24586: (3ba09cd6-8dc9-4a37-a80a-000000000001) ExportMeta : QGCMetaTask: connection from sdt14780.labs.teradata.com to next hop nodes failed. Connection attempt to 10.25.206.129:34835 hit timeout (0ms)

Viewpointのファブリック ステータスがオフラインになっている場合は、ノード サービスを再起動します。

リンクの診断チェックを実行して、イニシエータ ノードとターゲット ノードの間でネットワーク接続が使用可能であることを確認します。チェックが失敗する場合は、イニシエータ ファブリックのopenConnectionTimeoutファブリック システム プロパティを増やします。
ファブリック システムのプロパティは、Teradataカスタマー サポートの担当者によるサポートのもとで増やす必要があります。
データ転送フェーズでイニシエータ ノードに接続するときに接続がタイムアウトになりました。 QGInitiatorExport: 9134: (e7900c74-c423-4805-b6f0-000000000001) InitiatorDataExportReq : [Error 9134] QGRemoteImport: 24582: RemoteDataImportReq : QGC Import Req Exception:Connection from sdt14781 to initiator fabric nodes failed:([ 10.25.205.90 ]) ターゲット ファブリックのopenConnectionTimeoutファブリック システム プロパティを増やします。
ファブリック システムのプロパティは、Teradataカスタマー サポートの担当者によるサポートのもとで増やす必要があります。
ソケット読み取りのタイムアウト エラー。

QGInitiatorImportContract: 24583: (b1872402-b855-463a-b772-000000000001) ImportMeta : Couldn't establish connection to target fabric. (10.25.254.15;)Create AuthClient failed Socket read timed out after-300 ms, bytes read:0, total_bytes:56(0)

QGInitiatorImport: 24582: (62e4aabd-253d-4d54-92c2-000000000001) InitiatorDataImportReq : Socket read failed with state 4 when trying to read 532648 bytes

ExportMeta : QGLClient::DoMetaRequest Read timeout hit

connectionTimeoutファブリック システム プロパティを増やします。
ファブリック システムのプロパティは、Teradataカスタマー サポートの担当者によるサポートのもとで増やす必要があります。
Teradataコネクタをイニシエータとして使用中の切り捨てられた状態のエラー メッセージ エラー メッセージが切り捨てられた状態で表示される エラー メッセージをさらに表示するには、TeradataコネクタのプロパティEnable LoggingがViewpointでNONE以外に設定されていることを確認します。メッセージに記載されている一意のIDをメモします(例: 4a9eafad-4d0c-4612-9dd2-000000000008b)。そのIDを使用して、Viewpointで次のパス: /var/opt/Teradata/tdqg/connector/tdqg-teradata-connector/build version/log/teradata_qgc.logにあるドライバ ノードとしてマークされた各Teradataノードのログ ファイルを確認します。これらのファイルの1つに、一意のIDとエラー メッセージを持ちERRORとマークされた行が含まれるはずです。

Hiveコネクタ

問題 エラー メッセージ 解決方法
QueryGrid Javaクラスが見つからない Error: Error while compiling statement: FAILED: RuntimeException org.apache.hadoop.hive.ql.metadata.HiveException: Error in loading storage handler.com.teradata.querygrid.qgc.hive.QGStorageHandler (state=42000,code=40000) 適切なjarがHiveクラス パスに追加されていることを、Hive-ターゲット コネクタ間の非ネイティブ テーブルの構成の説明に従い確認します。
テーブル分類が正しくない ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(メッセージ: テーブルdefault.table123が厳密な管理対象テーブルチェックに失敗しました。その理由: テーブルが管理対象テーブルとしてマークされていますがトランザクション可能ではありません。) 非ネイティブ テーブルの作成時に外部キーワードが使用されたかを、Hive-ターゲット コネクタ間の非ネイティブ テーブルの構成の説明に従い確認します。
Hadoopエンジンがアプリケーションを実行中にエラーが発生 ERROR : Ended Job = job_1565997625028_0046 with errors

Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

OR

Export failed. application_1568920044570_0016 Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask

エラー メッセージにアプリケーションIDまたはジョブIDが含まれる場合は、Hadoop Webインターフェースを使用して、その特定のアプリケーションのログを検索し、エラーの原因を見つけます。

Sparkコネクタ

問題 エラー メッセージ 解決方法
Sparkアプリケーション エラー

Error 9134 QGInitiatorImportContract: 70103: (041caf90-06a3-46b3-8a4f -00000000004e) Metadata failed. java.sql.SQLException: Error occurred while executing spark job. java.sql.SQLException: Error while running Spark Application on host: hadoop3.dummy.domain. Check QueryGrid User Guide for troubleshooting info

このメッセージは、Spark実行メカニズムがSpark Applicationに設定された状態で、Sparkターゲット コネクタを使用している場合にのみ表示されます。

一般的な原因:
  • Viewpointリンク構成でのユーザー マッピングが正しくない。SparkコネクタがSpark権限なしのユーザーに接続しようとする原因になります。
  • Sparkコネクタ プロパティUsernameまたはPasswordが、link configconnector config、またはTeradata AUTHORIZATIONオブジェクトで正しく設定されていない。
  • Sparkコネクタ プロパティ、Queue Nameが、link configまたはconnector configオブジェクトで正しく設定されていない。
  • 初期インストール/構成中に、Spark SQLターゲット コネクタのユーザーの設定での説明のように、ユーザーの代理ログインを有効にできない。
  • SparkコネクタがSparkアプリケーションを使用してSparkデータベースの要求を行ったときに発生する、何らかのエラーまたは障害。

原因の特定:

  • Spark Thriftサーバーが構成されている場合は、Thrift Serverを一時的に使用するようにSpark Execution Mechanismを変更し、クエリーを再試行すると、より有用なエラー メッセージが表示される場合があります。
  • より詳細なエラー メッセージが、クエリーを実行したドライバ ノードの/var/opt/teradata/tdqg/connector/tdqg-spark-connector/build version/log/spark_rc.logにあるログで見つかる場合があります。
    • ログにError while running Spark Applicationが表示される前に、リストされる例外とスタック トレースを探します。
Hiveコネクタで使用する非ネイティブ テーブルにSparkシェルからアクセスする。 ERROR log: error in initSerDe: java.lang.ClassNotFoundException Class com.teradata.querygrid.qgc.hive.QGSerDe not found java.lang.ClassNotFoundException: Class com.teradata.querygrid.qgc.hive.QGSerDe not found Sparkシェルを使用する場合は、Hiveコネクタで使用するために作成された非ネイティブのテーブルにはアクセスしないでください。Spark SQLコネクタで使用する非ネイティブ テーブルを作成する方法については、Spark SQL-TargetConnector間リンクの検証を参照してください。