ICOS 내보내기

Definition

워크플로우 실행 결과를 ICOS에 저장하기 위해 사용합니다.
좌측 [데이터내보내기]노드 중 [ICOS내보내기]노드를 drag & drop 한 후 Property 항목을 입력합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.
expdata013

Set

[setting], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

Property

[Node Description] 작성 중인 노드명 입력

  1. file : 데이터 저장 경로 설정(ICOS 스토리지/버킷 선택시 9.credential 자동 입력)
  2. folder : 데이터 저장 폴더명. 날짜 표현식 입력하여 해당 날짜로 치환 가능(사용방법은 [hdfs내보내기] 참고)
  3. filename : 저장파일명
  4. format : 불러올 파일의 형식 지정(json, parquet, csv, text 중 택1)
  5. mode : 저장모드 설정
    • error : 파일이 있으면 에러 처리
    • append : 다른 이름으로 파일 추가
    • overwrite : 기존 파일을 삭제하고 추가
    • ignore : 파일이 있으면 저장하지 않고, 에러 처리도 하지 않음
  6. partitionBy : 파티셔닝 대상 컬럼 선택(컬럼 데이터별로 하위 폴더 생성)
  7. header : 헤더 여부 (true, false 중 택1)
  8. option : key, value 설정 (null을 문자열로 인식하는 것을 방지 할 수 있음)
  9. credential : 1.file 입력항목에서 스토리지/버킷 정보 입력시 자동 설정
  10. catalogDataset
    • Catalog Dataset 등록여부 : Catalog Dataset을 등록할 경우 체크
    • targetBucket : Catalog Bucket 지정
    • Dataset Name : Catalog Dataset 명 입력
    • Catalog user id : Catalog user id 입력