HTTP 불러오기

HTTP 불러오기

HTTP 프로토콜을 사용하여 Batch Pipeline으로 데이터를 불러오기 위해 사용하는 노드이다.

좌측 [데이터불러오기]노드 중 [HTTP불러오기]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

impdata004

  1. file : 불러올 HTTP파일 경로를 입력한다.
    • [연결테스트] 버튼을 클릭하여 해당 데이터를 정상적으로 로딩할 수 있는지 확인한다.
  2. format : 불러올 파일의 데이터 포맷을 선택한다(csv, json중 택1).
  3. delimiter : 구분자를 입력한다.
  4. option : 사용 가능한 옵션을 설정한다.
    1. key: header, value : true = 헤더 설정 여부
    2. key: nullValue, value : Null = Null 문자열 처리
    3. key: nanValue, value : NaN = NaN 문자열 처리
  5. schema : column 및 dataType를 정의한다(우측 버튼을 이용하여 전체 파싱 및 일부 추가 가능).
    • Schema를 파싱하여 뒤에 연결되는 ETL 작업에서 사용가능하다.
    • 자동파싱팝업 사용법은 HDFS불러오기의 내용과 같다.
  6. params : parameters를 입력한다.