fork

Definition

작업 flow를 분기시켜 노드들을 독립된 flow에서 수행한다.
좌측 [Flow구성]노드 중 [fork]노드를 drag & drop 한다. 동시에 수행할 작업을 적절히 선택한 후 워크플로우를 구성하는데, 이렇게 분기된 작업은 join으로 합쳐야 한다.

fork-join으로 구성되는 워크플로우의 특징은 다음과 같다.

• 분기된 모든 노드가 종료해야 워크플로우가 succeed 됨(즉, 분기된 노드 중 종료된 작업이 있어도 전체 노드가 종료할 때까지 대기)
• 분기 노드 중 하나라도 실패할 경우 전체 워크플로우가 실패

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

Example

서울특별시 대기오염 측정정보(출처 : 공공데이터 포털, 2019년 기준) 중 미세먼지(PM10)와 초미세먼지(PM2.5)에 해당하는 데이터를 별도 테이블로 생성한다.

[Note] 서울특별시 대기오염 측정정보 데이터
서울특별시 보건환경연구원 대기오염측정망시스템에서 제공하는 대기오염 측정정보
출처 : https://www.data.go.kr (공공 데이터 포털)

1. HDFS/Hive 브라우저를 통해 원시데이터 적재 및 테이블 생성

   

CREATE EXTERNAL TABLE default.air_pollution(

measurement_day STRING, -- 측정일시

station_cd STRING, -- 측정소 코드

metric_cd STRING, -- 측정항목 코드

medium DOUBLE, -- 평균값

status INT, -- 측정기 상태

national INT, -- 국가 기준초과 구분

local_gov INT ) -- 지자체 기준초과 구분

COMMENT '서울특별시 대기오염 측정정보(출처 : 공공데이터 포털)'

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ','

LINES TERMINATED BY '\n'

STORED AS TEXTFILE

LOCATION '/tmp/ManSample'

2. [executeHive]노드(노드명 : executeHive_sum)로 통계성 테이블 생성(전체 데이터량을 측정소별로 분리)

   

3. fork 노드 연결 및 [executeHive] 노드를 병렬로 연결하여 미세먼지(PM10), 초미세먼지(PM25) 데이터만 추출한 별도 테이블 생성

• [executeHive_pm10] create table air_pollution_pm10 as select * from air_pollution where air_pollution.metric_cd = '8'
• [executeHive_pm25] create table air_pollution_pm25 as select * from air_pollution where air_pollution.metric_cd = '9'

[Note] air_pollution 테이블의 측정항목 코드(metric_cd)는 아래와 같음

코드	설명
1	SO2 (아황산가스)
3	NO2 (이산화질소)
5	CO (일산화탄소)
6	O3 (오존)
8	PM10 (미세먼지:Particulate Matter)
9	PM2.5 (초미세먼지)

4. [fork]노드 사용할 경우 [join]노드를 사용해서 종료한다.

워크플로우 실행 후 새로운 테이블이 생성됐다.

[Note] Control Node
[Flow구성] 노드 중 decision, fork, join Node를 Control Node라고 한다.
작업을 수행하기 보다 워크플로우를 Control 하는 용도로 사용한다.