Node

node

Node๋Š” ์›Œํฌํ”Œ๋กœ์šฐ๋ฅผ ์ƒ์„ฑํ•˜๊ธฐ ์œ„ํ•ด ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐํƒ์ƒ‰, ์ „์ฒ˜๋ฆฌ ๋ฐ ๋จธ์‹ ๋Ÿฌ๋‹ ๋„๊ตฌ๋ชจ์Œ์ž…๋‹ˆ๋‹ค. [๋ฐ์ดํ„ฐ๋ถˆ๋Ÿฌ์˜ค๊ธฐ], [๋ฐ์ดํ„ฐ์ƒ˜ํ”Œ๋ง][๋ฐ์ดํ„ฐ์ฒ˜๋ฆฌํ•˜๊ธฐ(๊ธฐ๋ณธ,๊ณ ๊ธ‰)], [ํ”ผ์ฒ˜์—”์ง€๋‹ˆ์–ด๋ง], [๋ฐ์ดํ„ฐ๋‚ด๋ณด๋‚ด๊ธฐ], [Flow๊ตฌ์„ฑ] ์œผ๋กœ ๊ทธ๋ฃนํ•‘๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

node001

๋…ธ๋“œ์˜์—ญ๋ณ„ ์ฃผ์š”๊ธฐ๋Šฅ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

  1. ๋ฐ์ดํ„ฐ๋ถˆ๋Ÿฌ์˜ค๊ธฐ : Sandbox ๋˜๋Š” Object Storage ๋“ฑ์— ์œ„์น˜ํ•œ source data๋ฅผ ๋ถˆ๋Ÿฌ์˜ค๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉ
  2. ๋ฐ์ดํ„ฐ์ƒ˜ํ”Œ๋ง : ๋ถ„์„๋Œ€์ƒ ๋ฐ์ดํ„ฐ ์ค‘ ์ผ๋ถ€ ์ƒ˜ํ”Œ๋ง
  3. ๋ฐ์ดํ„ฐ์ฒ˜๋ฆฌํ•˜๊ธฐ : ์ˆ˜์ง‘๋ฐ์ดํ„ฐ์˜ ์ด์ƒ์น˜, ํŠน์ด์น˜, ์˜ค๋ฅ˜ ๋“ฑ์„ ์ œ๊ฑฐํ•˜๊ธฐ ์œ„ํ•œ ์ฒ˜๋ฆฌํ•จ์ˆ˜์™€ ์ฝ”๋”ฉ๊ธฐ๋ฐ˜ ์ •์ œ์ž‘์—…์„ ์œ„ํ•œ ๊ธฐ๋Šฅ ์ œ๊ณต(๊ธฐ๋ณธ/๊ณ ๊ธ‰)
  4. ํ”ผ์ฒ˜์—”์ง€๋‹ˆ์–ด๋ง : ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์œ„ํ•ด ๋ฐ์ดํ„ฐ ํ…Œ์ด๋ธ”์˜ ์ปฌ๋Ÿผ(ํŠน์ง•)์„ ์ƒ์„ฑํ•˜๊ฑฐ๋‚˜ ์„ ํƒํ•˜๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉ
  5. ๋ฐ์ดํ„ฐ๋‚ด๋ณด๋‚ด๊ธฐ : Pipeline ์‹คํ–‰๊ฒฐ๊ณผ๋ฅผ sandbox ๋˜๋Š” object storage ๋“ฑ์— ์ €์žฅํ•˜๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉ
  6. ์•„๋ž˜์™€ ๊ฐ™์€ Pipeline ๊ตฌ์„ฑ์„ ์œ„ํ•ด ์‚ฌ์šฉ
    • ๋ณ‘๋ ฌ๋ฐฉ์‹์œผ๋กœ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌํ•˜๊ฑฐ๋‚˜, ์„ ํ–‰์ž‘์—… ๊ฒฐ๊ณผ์— ๋”ฐ๋ผ ํ›„ํ–‰์ž‘์—…์„ ๊ฒฐ์ •ํ•ด์•ผ ํ•˜๋Š” ๊ฒฝ์šฐ
    • ์ด๋ฏธ ๊ตฌ์ถ•๋œ Pipeline์„ ๋ถˆ๋Ÿฌ์™€์„œ ์‚ฌ์šฉํ•˜๋Š” ๊ฒฝ์šฐ(subworkflow)
    • ์‚ฌ์šฉ์ž ์ž‘์„ฑ code(java, spark python ๋“ฑ)๋ฅผ ์‹คํ–‰ํ•˜๋Š” ๊ฒฝ์šฐ
    • ๋จธ์‹ ๋Ÿฌ๋‹ ํ•™์Šต์„ ์ˆ˜ํ–‰ํ•ด์•ผ ํ•˜๋Š” ๊ฒฝ์šฐ

node001

์›Œํฌํ”Œ๋กœ์šฐ์ž‘์„ฑ ์ค‘ ๋‹ค๋ฅธ ํ™”๋ฉด์œผ๋กœ ์ด๋™ํ•  ๊ฒฝ์šฐ ์ž„์‹œ ์ €์žฅ ๋ฉ๋‹ˆ๋‹ค.