ICOS 불러오기

ICOS 불러오기

IBM ICOS에 저장된 데이터를 Batch Pipeline으로 불러오기 위해 사용하는 노드이다.

• File 브라우저를 통해 데이터가 저장된 스토리지와 버킷을 선택할 수 있으며, 스토리지/버킷을 선택하면 credential 정보는 자동으로 설정된다.

• ICOS에 저장된 데이터의 Delimiter와 header 포함여부를 선택할 수 있다.
• Schema를 자동 파싱하여 이후 구성할 ETL 작업에서 사용할 수 있다.

• File Path에 날짜 표현식을 입력하여 해당 날짜로 치환할 수 있으며(불러오기 노드 공통 기능) 날짜 표현식과 관련한 Guide는 아래와 같다.

  • 날짜 표현식 : #{now:날짜 포맷}

  • 현재 날짜가 2019년 7월 3일 12시인 경우 아래와 같이 표현 가능

    표현식	설명
    #{now:yyyyMMdd}	오늘 날짜 20190703 으로 치환
    #{now-1d:yyyy-MM-dd}	어제 날짜 2019-07-02로 치환
    #{now-1w:yyyyMMddHH}	1주일전 날짜 2019062612로 치환

  • /test/#{now:yyyyMMdd} 로 지정시 /test/20190703 이란 디렉토리로 치환된다.

좌측 [데이터불러오기]노드 중 [ICOS불러오기]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

1. file : File 브라우저에서 데이터가 저장된 스토리지와 버킷을 입력한다.
2. format : 불러올 파일의 형식을 정한다(json, parquet, orc, csv, text 중 택1).
3. delimiter : 구분자를 입력한다.
4. option : 사용 가능한 옵션을 설정한다.
   1. key: header, value : true = 헤더 설정 여부
   2. key: nullValue, value : Null = Null 문자열 처리
   3. key: nanValue, value : NaN = NaN 문자열 처리
5. schema : column 및 dataType을 정의한다(우측 버튼 이용하여 전체 파싱 및 일부 추가 가능).
6. credential : File 브라우저에서 스토리지, 버킷정보를 입력하면 자동 설정된다.