HTTP 불러오기

Definition

HTTP 프로토콜을 사용하여 Pipeline으로 데이터를 불러오기 위해 사용합니다.
좌측 [데이터불러오기]노드 중 [HTTP불러오기]노드를 drag & drop 한 후 Property 항목을 입력합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.
impdata011

Set

[setting], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

Property

[Node Description] 작성 중인 노드명 입력
impdata012

  1. url : 데이터를 로딩할 HTTP URL 입력
    • [연결테스트] 버튼을 클릭하여 해당 데이터를 정상적으로 로딩할 수 있는지 확인
  2. header : HTTP 요청헤더
  3. returnData : 응답데이터 위치(JsonObject 또는 JsonArray형태에서 사용할 데이터 path. 'resultSet/data', '/'로 구분)
  4. format : 불러올 파일의 데이터 포맷 선택(json, xml중 택1)
  5. delimiter : 불러올 데이터의 파싱 구분자 입력
  6. option : 사용 가능한 옵션설정(헤더유무, nanValue, nullValue) 설정
    • key: header, value : true/False = 헤더 설정 여부(True : 헤더설정, False : 헤더미설정)
    • key: nullValue, value : 입력값(ex:NULL) = 데이터에 포함된 입력값(NULL)을 Null문자열 처리
    • key: nanValue, value : 입력값(ex:NaN) = 데이터에 포함된 입력값(NaN)을 NaN문자열 처리
  7. schema : column 및 dataType 정의(우측 [자동파싱], [추가]버튼 활용. 파싱을 완료해야 이후 연결할 노드에서 사용가능)
    • [자동파싱] : 불러올 데이터 유형(숫자형, 문자형)에 맞게 pipeline에서 자동 파싱. 사용자가 dataType 변경 가능
    • [추가] : 사용자가 데이터 column, dataType을 직접 파싱. schema 상세활용법은 [HDFS불러오기] 참고
  8. params : 노드에서 사용할 parameter 입력