distcp

Definition

HDFS에 저장된 파일을 다른 HDFS로 복사하는 노드이다. 좌측 [Flow구성]노드 중 [distcp]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. retry : max: 재수행 횟 수 : period: 재수행 간격
2. argument : 첫번재 arg 경로를 2,3,4,…,n 경로로 복사한다.
3. forceOK : 실패 시 강제 OK 처리 여부

Example

kbtest 클러스터의 HR_Retention.csv파일을 test1234 클러스터에 [distcp] 노드를 사용하여 복사한다.

1. 첫 번째 arg에 HR_Retention.csv파일이 저장된 path를, 두 번째 arg에 target path를 입력한다.

• source : hdfs://kbtest-accu-hdfs-nn.suka:9000/tmp/test
• target : hdfs://test1234-accu-hdfs-nn.suka:9000/tmp

2. distcp 워크플로우 실행 후 test1234 클러스터에 ./test/HR_retention.csv파일이 생성되었다.