Alluxio 불러오기

Alluxio 불러오기

Alluxio에 저장된 데이터를 Batch Pipeline으로 불러오기 위해 사용하는 노드이다.

좌측 [데이터불러오기]노드 중 [Alluxio불러오기]노드를 drag & drop 한다.

불러올 Alluxio 파일 경로를 입력한다.

Schema를 파싱하여 뒤에 연결되는 ETL 작업에서 사용가능하다(자동파싱팝업 사용법은 HDFS불러오기의 내용과 같다).

Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

impdata001

  1. file : 불러올 Alluxio 파일 경로를 입력한다.
  2. format : 불러올 파일의 형식을 정한다(csv, json중 택1).
  3. delimiter : 구분자를 입력한다.
  4. option : 사용 가능한 옵션을 설정한다.
    1. key: header, value : true = 헤더 설정 여부
    2. key: nullValue, value : Null = Null 문자열 처리
    3. key: nanValue, value : NaN = NaN 문자열 처리
  5. schema : column 및 dataType를 정의한다(우측 버튼을 이용하여 전체 파싱 및 일부 추가 가능).