Teradata TPump Statistics|SYSPRINT/stdout - Teradata TPumpの統計 - Parallel Data Pump

Teradata® Parallel Data Pumpリファレンス - 17.20

Product
Parallel Data Pump
Release Number
17.20
Published
2022年10月10日
Language
日本語
Last Update
2022-11-21
dita:mapPath
ja-JP/kpf1641281806652.ditamap
dita:ditavalPath
ja-JP/ovd1619195504008.ditaval
dita:id
B035-3021
Product Category
Teradata Tools and Utilities

Teradata TPumpは、統計項目をタスクごとに累積し、外部システムの通常の出力先であるSYSPRINT/stdout(またはリダイレクトされたstdout)か、ROUTEコマンドで指定された出力先に書き出します。

次の表に、維持されるTeradata TPumpの統計を示します。

Teradata TPumpの統計
参照番号 参照項目 統計の内容
1 Candidate records considered(検討対象の候補レコード) 読み取られたレコードの数。
2 Apply conditions satisfied(満足された適用条件) データベースに送られた文の数。拒否された、またはスキップされたレコードがない場合、この値は、候補レコードの数に、インポートにおいて参照されているAPPLY文の数を乗算した数になります。
3 Errors loggable to error table(エラー テーブルへのログ出力が可能なエラー) データベースでエラーになったレコードの数。これらのレコードは、関連したエラー テーブルに出力されます。
4 Candidate records rejected(拒否された候補レコード) 形式が間違っているためにTeradata TPumpクライアント コードによって拒否されたレコードの数。
5 Statistics for Apply Label(適用ラベルの統計) このエリアには、各DML APPLY句内のそれぞれの文の合計のアクティビティ カウントの明細が示されます。Type列には、更新の場合は値U、挿入の場合はI、削除の場合はDが入ります。レポートされる他の統計とは違って、これらの値は、複数のインポートにまたがって累積されることはありません。
6 Nuber of database requests sent(送信されたデータベース要求の数) この統計は冗長モードでのみ表示されます。冗長モードは、z/OSにおいては実行時パラメータVERBOSEとして、UNIXシステムにおいてはvとして選択されます。

また、Teradata TPumpはデータベースから削除された行数のカウントを受信します。このカウントは、SYSPRINT/stdout(またはリダイレクト先のstdout)、またはROUTEコマンドで指定された出力先のいずれかに書き込まれます。

挿入、更新、または削除する行の重複/欠落/余分などのエラーが原因でレコードが拒否されると、統計出力には、次のようにエラー条件が発生したことが示されます。

     .                                       IMPORT  1     Total thus far
     .                                       =========     ==============
     Candidate records considered:........           8.......           8  <-----(1)- 
     Apply conditions satisfied:..........           8.......           8  <-----(2)- 
     Errors loggable to error table:......           1.......           1  <-----(3)- 
     Candidate records rejected:..........           1.......           1  <-----(4)- 
     Number of RDBMS requests sent:.......           6.......           6  <-----(6)- 
** Statistics for Apply Label : LABELB
Type                      Database           Table or Macro Name     Activity
   I                           CME                  TDBTB734_TAL            7  <-(5)-

再始動の統計

Teradata TPumpは、再始動ログ テーブルに統計を格納します。再始動後にも、すべての統計は正しく復元されます。

パフォーマンスの統計

Teradata TPumpでは現在、ロードが終了した段階でUTY6677メッセージを発行します。

UTY6677 Loading phase statistics
 Elapsed time: 00:00:00:01 (dd:hh:mm:ss)
 CPU time:     xx.xx Seconds
 MB/sec:       xx.xx
 MB/cpusec:    xx.xx
The longhand of the abbreviation "MB/cpusec"'is megabytes(Total data TPump sends) per cpu second.
The longhand of abbreviation "MB/sec" is megabytes(Total data TPump sends) per elapsed second.
This performance statics could be varied on different platforms.

Teradata TPumpの統計出力

Teradata TPump出力の例を以下に示します。右側に「<-----(n)」でマークされている行は、前の例で説明されています。

     ========================================================================
     =                                                                      =
     =          Teradata Parallel Data Pump Utility    Release 17.20.00.02  =
     =          Platform WIN 64-bit                                         =
     =          PID      14184                                              =
     =                                                                      =
     ========================================================================
     =                                                                      =
     =     Copyright 1997-2022 Teradata. All rights reserved.               =
     =                                                                      =
     ========================================================================
**** 19:07:19 UTY2411 Processing start date: FRI MAY 20, 2022
     ========================================================================
     =                                                                      =
     =          Logon/Connection                                            =
     =                                                                      =
     ========================================================================
0001 .LOGTABLE TPLOG0044;
0002 .LOGON NODEID/TPUSER,
**** 19:07:19 UTY8400 Teradata Database Release: 17.20.00.00
**** 19:07:19 UTY8400 Teradata Database Version: 17.20.00.00
**** 19:07:19 UTY8400 Default character set: ASCII
**** 19:07:19 UTY8400 Current RDBMS has UDT support
**** 19:07:19 UTY8400 Current RDBMS has Large Decimal support
**** 19:07:19 UTY8400 Current RDBMS has Statement Info Parcel support
**** 19:07:19 UTY8400 Maximum supported buffer size: 1M
**** 19:07:19 UTY8400 Upsert supported by RDBMS server
**** 19:07:19 UTY8400 Data Encryption supported by RDBMS server
**** 19:07:19 UTY8400 Array Support supported by RDBMS server
**** 19:07:19 UTY8400 Statement Independence supported by RDBMS server
**** 19:07:19 UTY6211 A successful connect was made to the RDBMS.
**** 19:07:19 UTY6217 Logtable 'FLUSER.TPLOG0044' has been created.
     ========================================================================
     =                                                                      =
     =                     Processing Control Statements                    =
     =                                                                      =
     ========================================================================
0003 drop table TAB1;
**** 19:07:19 UTY1016 'DROP' request successful.
0004 drop table TAB2;
**** 19:07:20 UTY1016 'DROP' request successful.
0005 drop table ET_TEST1;
**** 19:07:21 UTY1016 'DROP' request successful.

0006 CREATE TABLE TAB1, FALLBACK, NO JOURNAL (
            F0 integer,
            F1 integer,
            F2 integer,
            F3 char(38))
           UNIQUE PRIMARY INDEX(F0);
**** 19:07:22 UTY1016 'CREATE' request successful.

0007 CREATE TABLE TAB2, FALLBACK, NO JOURNAL (
                 F0 integer,
                 F1 integer,
               F2 integer,
               F3 char(38))
               UNIQUE PRIMARY INDEX(F0);
**** 19:07:23 UTY1016 'CREATE' request successful.

0008 .BEGIN LOAD
      SESSIONS 10
      ROBUST ON
      SERIALIZE ON
      CHECKPOINT 10
      NOMONITOR
      ERRORTABLE ET_TEST1;
      ========================================================================
      =                                                                      =
      =                        Processing TPump Statements                   =
      =                                                                      =
      ========================================================================
0009 .LAYOUT LAY1A;
0010 .FIELD F0 * integer key;
0011 .FIELD F1 * integer;
0012 .FIELD F2 * integer;
0013 .FIELD F3 * char(38);

0014 .DML LABEL TAB1PART1;
0015 INSERT into tab1 values (:F0,:F1,:F2,:F3);

0016 .DML LABEL TAB2PART1;
0017 INSERT into tab2 values (:F0,:F1,:F2,:F3);

0018 .DML LABEL TAB1UPSERT DO INSERT FOR MISSING UPDATE ROWS IGNORE DUPLICATE          
      INSERT  ROWS;
0019  UPDATE tab1 set F2=:F2 + 1 where f0=:f0 + 50 and f1 < 2000;
0020  INSERT into tab1 ( F0, F1, F2, F3) values (:F0 + 50,:F1,:F2,:F3);

0021 .DML LABEL TAB2UPSERT DO INSERT FOR MISSING UPDATE ROWS IGNORE DUPLICATE   
     INSERT ROWS;
0022 UPDATE tab2 set F2=:F2 + 1 where f0=:f0 + 50 and f1 < 2000;
0023 INSERT into tab2 ( F0, F1, F2, F3) values (:F0 + 50,:F1,:F2,:F3);

0024 .IMPORT INFILE INDATA FROM 1 THRU 100
                    LAYOUT LAY1A
                    APPLY TAB1PART1
                    APPLY TAB2PART1;

0025 .IMPORT INFILE INDATA FROM 1 THRU 100
                    LAYOUT LAY1A
                    APPLY TAB1UPSERT
                    APPLY TAB2UPSERT;
0026 .END LOAD;
**** 19:07:24 UTY6609 Starting to log on sessions...
**** 19:07:37 UTY6610 Logged on 10 sessions.
     ========================================================================
     =                                                                      =
     =                       TPump Import(s) Beginning                      =
     =                                                                      =
     ========================================================================
**** 19:07:37 UTY6630 Options in effect for following TPump Import(s):
     .        Tenacity: 4 hour limit to successfully connect load sessions.
     .        Max Sessions: 10 session(s).
  .          Min Sessions: 8 session(s).
  .          Checkpoint: 10 minute(s).
  .          Errlimit: No limit in effect.
  .          Restart Mode: SIMPLE.
  .          Serialization: OFF.
  .          Packing: 20 Statements per Request.
  .          StartUp Rate: UNLIMITED Statements per Minute.
**** 19:07:42 UTY6608 Import 1 begins.
**** 19:07:44 UTY6641 Since last chkpt., 100 recs. in, 200 stmts., 10 reqs
**** 19:07:44 UTY6647 Since last chkpt., avg. DBS wait time: 151.40
**** 19:07:44 UTY6612 Beginning final checkpoint...
**** 19:07:44 UTY6641 Since last chkpt., 100 recs. in, 200 stmts., 10 reqs
**** 19:07:44 UTY6647 Since last chkpt., avg. DBS wait time: 151.40
**** 19:07:44 UTY6607 Checkpoint Completes with 200 rows sent.
**** 19:07:44 UTY6642 Import 1 statements: 200, requests: 10
**** 19:07:44 UTY6643 Import 1 average statements per request: 20.00
**** 19:07:44 UTY6644 Import 1 average statements per record: 1.00
**** 19:07:44 UTY6645 Import 1 statements/session: avg. 20.00, min. 20.00, max.
     20.00
**** 19:07:44 UTY6646 Import 1 requests/session: average 1.00, minimum 1.00,
      maximum 1.00
**** 19:07:44 UTY6648 Import 1 DBS wait time/session: avg. 151.40, min. 0.00,
     max. 1217.00
**** 19:07:44 UTY6649 Import 1 DBS wait time/request: avg. 151.40, min. 0.00,
     max. 1217.00
**** 19:07:44 UTY1823 Import processing statistics
                                                  IMPORT 1 Total thus far
     .                                            ========= ==============
     Candidate records considered:....                  100 100<-----(1)-
     Apply conditions satisfied:......                  200 200<-----(2)-
     Records logable to error table:..                    0 0<-----(3)-
     Candidate records rejected:......                    0 0<-----(4)-
     Number of RDBMS requests sent:...                   10 10<-----(6)-
**** Statistics for Apply Label : TAB1PART1
     Type: I
     Database: TPUSER
     Table or Macro Name: tab1
     Activity: 100<---(5)-
**** Statistics for Apply Label : TAB2PART1
     Type: I
     Database: TPUSER
     Table or Macro Name: tab2
     Activity: 100
**** 19:07:44 UTY6677 Loading phase statistics
     Elapsed time: 00:00:00:02(dd:hh:mm:ss)
     CPU time: 0 Seconds
     MB/sec: 0.005
     MB/cpusec: N/A
**** 19:07:51 UTY6608 Import 2 begins.
**** 19:08:03 UTY6641 Since last chkpt., 100 recs. in, 355 stmts., 30 reqs
**** 19:08:03 UTY6647 Since last chkpt., avg. DBS wait time: 421.20
**** 19:08:03 UTY6612 Beginning final checkpoint...
**** 19:08:03 UTY6641 Since last chkpt., 100 recs. in, 355 stmts., 30 reqs
**** 19:08:03 UTY6647 Since last chkpt., avg. DBS wait time: 421.20
**** 19:08:04 UTY6607 Checkpoint Completes with 200 rows sent.
**** 19:08:04 UTY6642 Import 2 statements: 355, requests: 30
**** 19:08:04 UTY6643 Import 2 average statements per request: 11.83
**** 19:08:04 UTY6644 Import 2 average statements per record: 1.77
**** 19:08:04 UTY6645 Import 2 statements/session: avg. 35.50, min. 20.00, max.
     175.00
**** 19:08:04 UTY6646 Import 2 requests/session: average 3.00, minimum 1.00,
     maximum 21.00
**** 19:08:04 UTY6648 Import 2 DBS wait time/session: avg. 1263.60, min. 0.00,
     max. 9672.00
**** 19:08:04 UTY6649 Import 2 DBS wait time/request: avg. 342.46, min. 0.00,
     max. 2137.00
**** 19:08:04 UTY1823 Import processing statistics
     .                                               IMPORT 2 Total thus far
     .                                               ========= ==============
     Candidate records considered:....                      100 200
     Apply conditions satisfied:......                      200 400
     Records logable to error table:..                        0 0
     Candidate records rejected:......                        0 0
     Number of RDBMS requests sent:...                       10 20
    ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
    +                                                                      + 
    + ERRORS ENCOUNTERED PROCESSING INPUT DATA                             +
    +                                                                      +
    ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
**** Statistics for Apply Label : TAB1UPSERT
     Type: U
     Database: TPUSER
     Table or Macro Name: tab1
     Activity: 50
     Type: I
     Database: TPUSER
     Table or Macro Name: tab1
     Activity: 50
**** Statistics for Apply Label : TAB2UPSERT
     Type: U
     Database: TPUSER
     Table or Macro Name: tab2
     Activity: 50
     Type: I
     Database: TPUSER
     Table or Macro Name: tab2
     Activity: 50
**** 19:08:04 UTY6677 Loading phase statistics
     Elapsed time: 00:00:00:13(dd:hh:mm:ss)
     CPU time: 0 Seconds
     MB/sec: 0.000769231
     MB/cpusec: N/A
**** 19:08:06 UTY0820 Error table TPUSER.ET_TEST1 is EMPTY, dropping table.
     ========================================================================
     =                                                                      =
     =                                   Logoff/Disconnect                  =
     =                                                                      =
     ========================================================================
**** 19:08:13 UTY6216 The restart log table has been dropped.
**** 19:08:13 UTY6212 A successful disconnect was made from the RDBMS.
**** 19:08:13 UTY2410 Total processor time used = '0.780005 Seconds'
     .        Start : 19:07:19 - FRI MAY 20, 2022
     .        End   : 19:08:13 - FRI MAY 20, 2022
     .        Highest return code encountered = '0'.

上記のスクリプトの複雑度は、現実的なものです。このスクリプトは、2つのインポートが組み込まれ、各インポートに少なくとも2つの文が関連付けられているTeradata TPumpジョブの例です。

最初のインポートについては、2つの文があり、それぞれ別のDML文で設定されています。IMPORT文は、2つのAPPLY句を通じて2つの文を参照しています。

2番目のインポートは、各DML文に2つの文があるため、さらに複雑さが増しています。各DML文内の2つの文がUPSERT文を構成しています。