hdfsToIcos

Definition

HDFS 파일/폴더를 ICOS에 복사 하는 노드이다. 좌측 [Flow구성]노드 중 [hdfsToIcos]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. hdfs파일경로(불러오기) : 이동 대상 파일의 HDFS 경로
2. ICOS 파일경로 (저장경로) : 저장할 ICOS 파일경로 선택
3. ETL 결과파일 여부 : ETL 노드를 통해 생성된 모든 파일을 대상으로 할지 여부
   • HDFS 파일을 아래와 같이 입력한경우, 하위 part*해당파일 모두 이동
   • hdfs://OOO.OOO.OOO.OOO:8020/user/sample_user/source_data/
4. Credential : ICOS 엑세스 정보 (ICOS 파일경로 선택시 자동 설정됨)

Example

hdfs에 저장된 csv파일을 icos로 이동하는 예제이다.

1. setting 패널에서 워크플로우 실행 클러스터를 선택한다.
2. property 패널에서 hdfs, icos 경로를 지정한다. ETL 결과파일여부는 FALSE로 선택한다. icos 저장경로를 지정하면 4.credential 항목은 자동 설정된다.

• 1.HDFS 파일 경로(불러오기)
  

• 2.ICOS 파일 경로(저장경로)
  

• property 설정내역
  

3. 워크플로우 저장 및 실행 후 ICOS 스토리지에 csv파일이 저장됐다.
   

Troubleshooting

1. ICOS 브라우저에서 스토리지 목록이 조회되지 않을 경우

• dpcore > core-module-common config에서 [icos.config.use=false] 인지 확인
• [icos.config.use=true]로 설정시 ICOS 브라우저에서 스토리지 목록 확인 가능
• false 설정시 true로 변경 후 core-module-common 모듈 재배포 필요

2. ICOS 브라우저에서 스토리지 목록이 조회되지 않을 경우