Teradata Data Moverコンポーネントの概要 - Teradata Data Mover

Data Mover 展開オプション

Data Moverデータ転送オプション

Data Moverデーモン

Teradata® Data Moverの主なコンポーネントは、次の処理を実行するData Moverデーモンです。

• いずれかのData Moverインターフェースからの着信リクエストを処理する
• Teradata Databaseシステムに対する指定されたオブジェクトに関する情報のクエリーの実行
• ジョブの仕様に基づいて、ソース システムからターゲット システムにオブジェクトをコピーするためのプランの生成
• Data Moverエージェントへの各ジョブの作業の配分
• ジョブ プランなどのジョブ情報および各ジョブ インスタンスによって生成された出力の取り込みおよび格納
• Teradata Ecosystem ManagerおよびServer Managementへのステータス情報の送信

Data Moverデーモンでは、小規模なTeradata Databaseを使用してジョブ情報とメタデータを格納します。Data Moverデーモン、Data Moverコマンドライン インターフェース、Data Moverエージェント、またはその他の外部コンポーネントとの間の通信はすべて、Java Message Service (JMS)バスを介して行なわれます。これらのコンポーネント間のメッセージは、すべてXML形式です。

Data Moverデーモンのタスクの1つは、ジョブのステータス情報をTeradata Ecosystem ManagerとServer Managementへ送信することです。これにより、危機的な障害を直ちにTeradataに報告できます。Data Moverデーモンでは、ポートレット インターフェース、およびコマンドライン インターフェースで開始されたジョブに関するTeradata Ecosystem Managerのイベント情報が生成されます。この製品が存在し、ユーザーがTeradata Ecosystem Managerへステータスを送信するようにData Moverを構成している場合、この送信が実行されます。

Data Moverデーモンのプロパティ ファイル

daemon.propertiesファイルには、Data Moverデーモンの構成プロパティが含まれています。

# Copyright (C) 2009-2020  by Teradata Corporation.
# All Rights Reserved.
# TERADATA CORPORATION CONFIDENTIAL AND TRADE SECRET
#----------------------------------------------------------------------------------------------
# File: "daemon.properties"
#
# Purpose: This file contains all of the properties used by the DM Daemon.
#
# Caution: Do not modify the property names/values in this file unless absolutely sure 
# of the implications to the DM Daemon.
#
# Note: Any line of text in this document that begins with a '#' character is a comment and 
# has no affect on the DM Daemon. However, comments should not be modified.
#
# All properties under LOGGING comment are used for logging purposes
#
#----------------------------------------------------------------------------------------------

# Purpose: The hostname or IP address of the machine running the 
# Java Message Service (JMS) Message Broker.
# Default: localhost
# Other examples include:
# broker.url=10.0.1.199
# broker.url=hostname
# broker.url=[fe80::114:23ff:fe1d:32fb]
broker.url=localhost

# Purpose: The port number on the machine in which the
# Java Message Service (JMS) Message Broker is listening.
# Default: 61616
broker.port=61616

# Purpose: When set to true, a connection to a 
# Secondary Java Message Service (JMS) Message Broker can be
# established in case the Primary Java Message Service (JMS) Broker fails.
# Default: false
cluster.enabled=false

# Purpose: The message time to live in milliseconds; zero is unlimited
# Be SURE to synchronize clocks of all dm hosts so messages do not expire unintentionally
# causing failed or hanging requests to Daemon.
# Default: 1 hr
jms.response.timetolive=3600000

# Purpose: A long-lived server port on the machine running the DM Daemon, which is used for inbound
# socket connections from DM Agents.  
# Default: 25168

# Purpose: When set to true, Fatal Error messages can be sent to TVI
# Default: true
tvi.useLogger=true

# Purpose: Scripts are used to run to collect TVI diagnostic bundles file. 
# DO NOT change this directory location.
tvi.diagnosticbundle.script.dir=/opt/teradata/datamover/support/diagnosticbundle

# Purpose: TVI diagnostic bundle files are saved to this directory
# This value need to be the same as SUPPORT_BUNDLE_DIR in /etc/opt/teradata/sm3g. sm3gnode.conf 
tvi.diagnosticbundle.dir=/var/opt/teradata/datamover/support/diagnosticbundle

# Purpose: The maximum number of jobs allowed to run on the daemon at the same time.
# Additional jobs are placed on the queue and executed when slots become available
# Default: 20
jobExecutionCoordinator.maxConcurrentJobs=20

# Purpose: The maximum number of jobs allowed in the job queue.
# Additional jobs are placed in a higher level memory queue until slots are available in the job queue.
# Default: 20
jobExecutionCoordinator.maxQueuedJobs=20

# Purpose: The hostname or IP address for the ViewPoint Authentication server.
# Default: http://localhost
viewpoint.url=http://dm-vp1

# Purpose: The port number for the ViewPoint Authentication server.
# Default: 80
viewpoint.port=80

# Purpose: The hostname and IP address for the Querygrid Manager servers.
# Support clustered QueryGrid managers, could have upto 2 urls, separate by comma.
# e.g querygrid.manager.urls=https://host1:9443,https://host2:9443
# Default: https://localhost:9443
querygrid.manager.urls=https://localhost:9443

#----------------------LOGGING-------------------------------

# Purpose: Set Logging level to info.  User has 6 options.  
# From most amount of logging to least: trace < debug < info < warn < error < fatal
rootLogger.level=info

# Purpose: Informs the logging application to use a specific appender and it's properties.  DO NOT CHANGE 
appender.rolling.type=RollingFile
appender.rolling.name=RollingFile
appender.rolling.layout.type=PatternLayout
appender.rolling.layout.pattern=%d [%t] %-5p %c{3}(%L) - %m%n
appender.rolling.policies.type=Policies
appender.rolling.policies.size.type=SizeBasedTriggeringPolicy
appender.rolling.strategy.type=DefaultRolloverStrategy
logger.rolling.name=com.teradata
logger.rolling.appenderRef.rolling.ref=RollingFile

# Purpose: Allow's user the ability to change the location of the log file.
# If changing log file location, please give the absolute path of the file;
# for example, /var/log/dmAgent.log
# for windows os: use slash instead of back slash: 
# For Example: C:/Program File/Teradata/Log/dmDaemon.log 
appender.rolling.fileName=/var/opt/teradata/datamover/logs/dmDaemon.log
appender.rolling.filePattern=/var/opt/teradata/datamover/logs/dmDaemon.log.%i

# Purpose: The max size of the logging file before being rolled over to backup files.
appender.rolling.policies.size.size=20MB
# Purpose: The number of backup logging files created, after the max number, the oldest file is erased.
appender.rolling.strategy.max=5

service_user=dmuser

# Purpose: Data Mover Rest Interface for DSA job status notification
dm.rest.endpoint=https://localhost:1443/datamover

# Purpose: DSA Rest Interface for DSA job status notification 
dsa.rest.endpoint=https://localhost:9090/dsa
#------------------------------------------------------------

Data Moverエージェント

Data MoverデーモンはData Moverエージェントを使用して各Data Moverジョブの作業を実行するため、少なくとも1つのエージェントが必要です。 複数のエージェントでタスクを並列に実行し、パフォーマンスを高めることができます。パフォーマンスを最大化するには、各エージェントをData Moverデーモンのサーバーとは別のそれぞれのサーバー上に配置することを推奨します。ただし、これは必須要件ではありません。Data Moverエージェントは、Data Moverデーモンと同じサーバー上で実行できます。

Data Moverデーモンは作業を複数のタスクに分割し、次に使用できるData MoverエージェントのためにJMSキュー上にタスクを配置します。Data Moverエージェントでは、次のユーティリティのいずれか1つを使用してタスクを実行してから、その次のタスクの受信をキュー上で待機します。

Data Moverエージェントのプロパティ ファイル

agent.propertiesファイルには、Data Moverエージェントの構成プロパティが含まれています。

# Copyright (C) 2009-2020 by Teradata Corporation.
# All Rights Reserved.
# TERADATA CORPORATION CONFIDENTIAL AND TRADE SECRET
#----------------------------------------------------------------------------------------------
# File: "agent.properties"
#
# Purpose: This file contains all of the properties used by the DM Agent.
#
# Caution: Do not modify the property names/values in this file unless absolutely sure 
# of the implications to the DM Agent.
#
# Note: Any line of text in this document that begins with a '#' character is a comment and 
# has no affect on the DM Agent. However, comments should not be modified.
#
# All properties under LOGGING Comment are used for logging purposes
#
#----------------------------------------------------------------------------------------------

# Purpose: The Agent Identifier
# Default: Agent1
agent.id=Agent1

# Purpose: The hostname or IP address of the machine running the 
# Java Message Service (JMS) Message Broker.
# Default: localhost
broker.url=localhost

# Purpose: The port number on the machine in which the
# Java Message Service (JMS) Message Broker is listening.
# Default: 61616
broker.port=61616

# Purpose: When set to true, a connection to a 
# Secondary Java Message Service (JMS) Message Broker can be
# established in case the Primary Java Message Service (JMS) Broker fails.
# Default: false
cluster.enabled=false

# Purpose: Port that will be used by ARC
# Default: 25268

# Purpose: The maximum number of tasks allowed to run on this agent at the same time.
# This property has the side-effect of reducing parallelism among multiple Agents if
# set too high, because one Agent will grab all the tasks on the queue
# Default: 5
agent.maxConcurrentTasks=5

#When set to true, Fatal Error messages can be sent to TVI
tvi.useLogger=true

# Purpose: Scripts are used to run to collect TVI diagnostic bundles file. 
# DO NOT change this directory location.
tvi.diagnosticbundle.script.dir=/opt/teradata/datamover/support/diagnosticbundle

# Purpose: TVI diagnostic bundle files are saved to this directory
# This value need to be the same as SUPPORT_BUNDLE_DIR in /etc/opt/teradata/sm3g. sm3gnode.conf 
tvi.diagnosticbundle.dir=/var/opt/teradata/datamover/support/diagnosticbundle

#----------------------LOGGING-------------------------------

# Purpose: Set Logging level to info.  User has 6 options.  
# From most amount of logging to least: trace < debug < info < warn < error < fatal
rootLogger.level=info

# Purpose: Informs the logging application to use a specific appender and it's properties.  DO NOT CHANGE 
appender.rolling.type=RollingFile
appender.rolling.name=RollingFile
appender.rolling.layout.type=PatternLayout
appender.rolling.layout.pattern=%d [%t] %-5p %c{3}(%L) - %m%n
appender.rolling.policies.type=Policies
appender.rolling.policies.size.type=SizeBasedTriggeringPolicy
appender.rolling.strategy.type=DefaultRolloverStrategy
logger.rolling.name=com.teradata
logger.rolling.appenderRef.rolling.ref=RollingFile

# Purpose: Allow's user the ability to change the location of the log file.
# If changing log file location, please give the absolute path of the file;
# for example, /var/log/dmAgent.log
# for windows os: use slash instead of back slash: 
# For Example: C:/Program File/Teradata/Log/dmAgent.log 
appender.rolling.fileName=/var/opt/teradata/datamover/logs/dmAgent.log
appender.rolling.filePattern=/var/opt/teradata/datamover/logs/dmAgent.log.%i

# Purpose: The max size of the logging file before being rolled over to backup files.
appender.rolling.policies.size.size=10MB
# Purpose: The number of backup logging files created, after the max number, the oldest file is erased.
appender.rolling.strategy.max=3

service_user=dmuser
#------------------------------------------------------------

Data Moverポートレット

Data Moverポートレットを使用すると、Teradata Databaseシステム間でデータベース オブジェクトをコピーするジョブを、グラフィカルユーザー インターフェースでセットアップ、起動、編集および監視することができます。Data Moverポートレットのインターフェースは使いやすく、直感的であるため、ソース システムのデータベース階層内でコピーするオブジェクトを参照し、ジョブ定義を作成することにより、Data Moverでのコピー タスクを簡単に実行することができます。ポートレットを使用すると、XMLパラメータ ファイルを編集する必要も、一般的なコマンドの構文を覚える必要もなくなります。Data Moverポートレットを使用するには、Teradata Viewpointがインストールされている必要があります。

コマンドライン インターフェース

コマンドライン インターフェースには、ジョブを作成、実行、モニター、更新、編集、および削除できるようにするデーモン、エージェント、およびジョブ操作コマンドを含めて、Data Moverシステムのセットアップや構成を可能にするセットアップ コマンドが用意されています。セットアップ コマンドには、Data Moverセットアップ ポートレットで提供される機能に対応する機能があります。ジョブ管理コマンドには、Data Moverポートレットで提供される機能に対応する機能があります。コマンドおよび有効なパラメータのリストについては、Data Moverコマンドについてを参照してください。

インターフェースの各コマンドを操作するには、一連のパラメータを指定する必要があります。これらのパラメータは、コマンドライン引数の一部としてリストするか、またはXMLドキュメント内で指定することができます。同じパラメータがコマンドラインとXMLファイルで定義されている場合は、コマンドラインが優先されます。コマンドライン インターフェースでは、複数のインスタンスを使用することができます。

RESTful API

RESTful APIには、コマンドライン インターフェースと似た機能があります。RESTful APIには、標準RESTクライアントを使用してサードパーティのサーバーまたはTeradataサーバーからアクセスできます。これらのAPIでは、プログラム的な方法によってジョブを作成、実行、モニター、更新、編集、停止、クリーンアップ、および削除することができます。詳細については、Data Mover RESTful APIを参照してください。