Node
node
Node๋ ์ํฌํ๋ก์ฐ๋ฅผ ์์ฑํ๊ธฐ ์ํด ํ์ํ ๋ฐ์ดํฐํ์, ์ ์ฒ๋ฆฌ ๋ฐ ๋จธ์ ๋ฌ๋ ๋๊ตฌ๋ชจ์์ ๋๋ค. [๋ฐ์ดํฐ๋ถ๋ฌ์ค๊ธฐ], [๋ฐ์ดํฐ์ํ๋ง][๋ฐ์ดํฐ์ฒ๋ฆฌํ๊ธฐ(๊ธฐ๋ณธ,๊ณ ๊ธ)], [ํผ์ฒ์์ง๋์ด๋ง], [๋ฐ์ดํฐ๋ด๋ณด๋ด๊ธฐ], [Flow๊ตฌ์ฑ] ์ผ๋ก ๊ทธ๋ฃนํ๋์ด ์์ต๋๋ค.
๋ ธ๋์์ญ๋ณ ์ฃผ์๊ธฐ๋ฅ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ๋ฐ์ดํฐ๋ถ๋ฌ์ค๊ธฐ : Sandbox ๋๋ Object Storage ๋ฑ์ ์์นํ source data๋ฅผ ๋ถ๋ฌ์ค๊ธฐ ์ํด ์ฌ์ฉ
- ๋ฐ์ดํฐ์ํ๋ง : ๋ถ์๋์ ๋ฐ์ดํฐ ์ค ์ผ๋ถ ์ํ๋ง
- ๋ฐ์ดํฐ์ฒ๋ฆฌํ๊ธฐ : ์์ง๋ฐ์ดํฐ์ ์ด์์น, ํน์ด์น, ์ค๋ฅ ๋ฑ์ ์ ๊ฑฐํ๊ธฐ ์ํ ์ฒ๋ฆฌํจ์์ ์ฝ๋ฉ๊ธฐ๋ฐ ์ ์ ์์ ์ ์ํ ๊ธฐ๋ฅ ์ ๊ณต(๊ธฐ๋ณธ/๊ณ ๊ธ)
- ํผ์ฒ์์ง๋์ด๋ง : ๋ฐ์ดํฐ ๋ถ์์ ์ํด ๋ฐ์ดํฐ ํ ์ด๋ธ์ ์ปฌ๋ผ(ํน์ง)์ ์์ฑํ๊ฑฐ๋ ์ ํํ๊ธฐ ์ํด ์ฌ์ฉ
- ๋ฐ์ดํฐ๋ด๋ณด๋ด๊ธฐ : Pipeline ์คํ๊ฒฐ๊ณผ๋ฅผ sandbox ๋๋ object storage ๋ฑ์ ์ ์ฅํ๊ธฐ ์ํด ์ฌ์ฉ
- ์๋์ ๊ฐ์ Pipeline ๊ตฌ์ฑ์ ์ํด ์ฌ์ฉ
- ๋ณ๋ ฌ๋ฐฉ์์ผ๋ก ๋ฐ์ดํฐ ์ฒ๋ฆฌํ๊ฑฐ๋, ์ ํ์์ ๊ฒฐ๊ณผ์ ๋ฐ๋ผ ํํ์์ ์ ๊ฒฐ์ ํด์ผ ํ๋ ๊ฒฝ์ฐ
- ์ด๋ฏธ ๊ตฌ์ถ๋ Pipeline์ ๋ถ๋ฌ์์ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ(subworkflow)
- ์ฌ์ฉ์ ์์ฑ code(java, spark python ๋ฑ)๋ฅผ ์คํํ๋ ๊ฒฝ์ฐ
- ๋จธ์ ๋ฌ๋ ํ์ต์ ์ํํด์ผ ํ๋ ๊ฒฝ์ฐ
์ํฌํ๋ก์ฐ์์ฑ ์ค ๋ค๋ฅธ ํ๋ฉด์ผ๋ก ์ด๋ํ ๊ฒฝ์ฐ ์์ ์ ์ฅ ๋ฉ๋๋ค.