dataJoin

Definition

2개 이상의 노드로부터 데이터를 Join하는 노드입니다.
좌측 [데이터처리(기본)]노드 중 [dataJoin]노드를 drag & drop 한 후 Property 항목을 입력합니다.

Set

[setting], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

Property

[Node Description] 작성 중인 노드명 입력

1. col1 : 첫 번째 노드 기준 컬럼 선택

2. col2 : 두 번째 노드 기준 컬럼 선택

3. how : join 유형 선택

   join유형	설명
   inner	조인 조건에 맞는 행만 검색
   outer	조인 키에 대응되는 row가 없는 경우 null로 추출
   left_outer	col1에서 선택한 조인 키에 대응되는 row가 없는 경우 null로 추출
   right_outer	col2에서 선택한 조인 키에 대응되는 row가 없는 경우 null로 추출
   left_semi	col1과 col2가 서로 join시 col1,col2의 값이 같은 데이터1추출 (exists 함수와 유사)
   left_anti	col1과 col2가 서로 join시 col1,col2의 값이 없는 데이터1추출 (not exists 함수와 유사)
   cross	두 노드의 카티션 프로덕트(곱집합)결과를 추출

4. cleanColumns : 소스테이블 구분을 위한 태그제거 및 중복 key 컬럼 제거

Suggestion

데이터 Join에 사용하기 위한 컬럼을 Pipeline에서 제시합니다. 워크플로우 구성 후 Property 항목의 [Suggestion] 버튼을 눌러, 컬럼간 유사도를 확인합니다.

1. Similarity : 샘플링한 데이터의 유사도. 적용시 전체 데이터 유사도 확인가능
2. 적용 : Join대상 컬럼 확인 후 적용버튼 클릭시 Property 항목의 col1, col2에 자동입력

Example

상품정보와 주문정보 데이터를 goods_id 컬럼으로 조인합니다. 분석가가 직접 지정할 수도 있고, [suggestion]기능을 사용할 수도 있습니다.

1. [HDFS불러오기], [select], [dataJoin]노드를 Designer에 Drag & Drop하여 워크플로우 생성
   
2. [dataJoin]노드 col1, col2에서 goods_id 선택. 또는 [Suggest] 클릭 후 goods_id 항목 [적용]
   
3. [dataJoin]노드 how에서 inner 선택 후 snapshot버튼 선택하여 조인결과 확인