ICOS 불러오기

Definition

IBM ICOS에 저장된 데이터를 Pipeline으로 불러오기 위해 사용합니다.
좌측 [데이터불러오기]노드 중 [ICOS불러오기]노드를 drag & drop 한 후 Property 항목을 입력합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.

Set

[setting], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

Property

[Node Description] 작성 중인 노드명 입력

1. file : File 브라우저를 통해 데이터가 저장된 스토리지/버킷 입력(스토리지/버킷 입력시 credential 정보 자동 설정)
2. format : 불러올 파일의 형식 지정(json, parquet, csv, text, xml 중 택1)
3. delimiter : 구분자 입력
4. option : 사용 가능한 옵션설정(헤더유무, nanValue, nullValue) 설정
   • key: header, value : true/False = 헤더 설정 여부(True : 헤더설정, False : 헤더미설정)
   • key: nullValue, value : 입력값(ex:NULL) = 데이터에 포함된 입력값(NULL)을 Null문자열 처리
   • key: nanValue, value : 입력값(ex:NaN) = 데이터에 포함된 입력값(NaN)을 NaN문자열 처리
5. schema : column 및 dataType 정의(우측 [자동파싱], [추가]버튼 활용. 파싱을 완료해야 이후 연결할 노드에서 사용가능)
   • [자동파싱] : 불러올 데이터 유형(숫자형, 문자형)에 맞게 pipeline에서 자동 파싱. 사용자가 dataType 변경 가능
   • [추가] : 사용자가 데이터 column, dataType을 직접 파싱. schema 상세활용법은 [HDFS불러오기] 참고
6. credential : File 브라우저에서 스토리지, 버킷정보를 입력하면 자동 설정

File Path에 날짜 표현식 활용방법

File Path에 날짜 표현식을 입력하여 해당 날짜로 치환할 수 있습니다(불러오기 제공 노드 공통 기능). 날짜 표현식 사용방법은 아래와 같습니다.

1. 날짜 표현식 사용법 : #{now:날짜 포맷}

2. 현재 날짜가 2019년 7월 3일 12시인 경우 아래와 같이 표현 가능(/test/#{now:yyyyMMdd}로 지정시 /test/20190703 이란 디렉토리로 치환)

   표현식	설명
   #{now:yyyyMMdd}	오늘 날짜 20190703 으로 치환
   #{now-1d:yyyy-MM-dd}	어제 날짜 2019-07-02로 치환
   #{now-1w:yyyyMMddHH}	1주일전 날짜 2019062612로 치환

[Note] 날짜 표현식 사용시 유의사항
ICOS, HDFS 등 저장소에 날짜포맷을 폴더를 생성해야 날짜표현식을 적용할 수 있다.