hdfsToIcos

Definition

HDFS 파일/폴더를 ICOS에 복사 하는 노드입니다.
좌측 [Flow구성]노드 중 [hdfsToIcos]노드를 drag & drop 한 후 Property 항목을 입력합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

property

[Node Description] 작성 중인 노드명 입력

1. HDFS 파일 경로(불러오기) : 이동 대상 파일의 HDFS 경로
2. ICOS 파일 경로(저장경로) : 저장할 파일의 ICOS 경로 선택
3. ETL 결과파일 여부 : ETL 노드를 통해 생성된 모든 파일을 대상으로 할지 여부
   • HDFS 파일을 아래와 같이 입력한경우, 하위 part*해당파일 모두 이동
   • hdfs://OOO.OOO.OOO.OOO:8020/user/sample_user/source_data/
4. Credential : ICOS 엑세스 정보(ICOS 파일경로 선택 시 자동 설정됨)

Example

hdfs에 저장된 csv파일을 icos로 이동하는 예제입니다.

1. setting 패널에서 워크플로우 실행 클러스터 선택

2. [1.HDFS 파일 경로(불러오기)] property 설정

3. [2.ICOS 파일 경로(저장경로)] property 설정

4. [3.ETL 결과파일여부]는 FALSE로 선택, [2.ICOS 파일 경로(저장경로)] 설정하면 [4.credential] 항목은 자동 설정

5. 워크플로우 저장 및 실행 후 ICOS 스토리지에 csv파일 저장 확인