patternParser

Definition

Grok 패턴을 활용한 Parser. 좌측 [데이터처리(고급)]노드 중 [patternParser]노드를 drag & drop 합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.

Set

[setting], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고합니다.

property

[Node Description] 작성 중인 노드명 입력
patternParser

  1. targetColumn : 목록 중 적용할 컬럼 선택
  2. schema : 신규 컬럼명. 패턴 찾기를 통해 작성
  3. pattern : Grok 패턴
  4. parsedSample : pattern으로 치환되지 않은 문자열, 패턴 찾기 다이얼로그에서 pattern으로 치환가능

Example

Apache Log를 Grok 패턴 파싱을 통해 데이터 처리하는 워크플로우를 구성합니다.

  1. [HDFS불러오기], [patternParser] 노드를 Designer에 Drag & Drop하여 워크플로우 생성
    patternParser

  2. [patternParser]노드에 아래와 같이 입력 후 snapshot 클릭
    patternParser patternParser