java

Definition

HDFS์ƒ์— ๋ฏธ๋ฆฌ ์˜ฌ๋ ค๋‘” Java Class์˜ ์ด๋ฆ„์„ main Class์— ์ž‘์„ฑํ•ด์•ผ ์‹คํ–‰์ด ๊ฐ€๋Šฅํ•˜๋‹ค. [Flow๊ตฌ์„ฑ]๋…ธ๋“œ ์ค‘ [java]๋…ธ๋“œ๋ฅผ drag & drop ํ•œ ํ›„ Property ํ•ญ๋ชฉ์„ ์ž…๋ ฅํ•œ๋‹ค. Property ํŒจ๋„์˜ [๋”๋ณด๊ธฐ+] ๋ฒ„ํŠผ์„ ๋ˆ„๋ฅด๋ฉด ์ž…๋ ฅ๊ฐ€๋Šฅํ•œ ์ „์ฒด Property ํ•ญ๋ชฉ์„ ๋ณผ ์ˆ˜ ์žˆ๋‹ค.

Set

[setting], [scheduler], [parameter] ์„ค์ •์€ [์›Œํฌํ”Œ๋กœ์šฐ ์ƒ์„ฑ] > [์„ค์ •]์„ ์ฐธ๊ณ ํ•œ๋‹ค.

property

[Node Description] ์ž‘์„ฑ ์ค‘์ธ ๋…ธ๋“œ๋ช… ์ž…๋ ฅ

flow011

  1. prepare : ๋…ธ๋“œ ์‹คํ–‰ ๊ฒฐ๊ณผ๋ฅผ HDFS์— ์ €์žฅํ•˜๊ธฐ ์œ„ํ•ด ํŒŒ์ผ์‚ญ์ œ/ํด๋”์ƒ์„ฑ ์ž‘์—… ์„  ์ˆ˜ํ–‰(์›Œํฌํ”Œ๋กœ์šฐ ๋ฐ˜๋ณต์‹คํ–‰ ์‹œ ํ™œ์šฉ๊ฐ€๋Šฅ)
    • delete : ๋…ธ๋“œ ์‹คํ–‰ ์ „ ์‚ญ์ œํ•  ํด๋”/ํŒŒ์ผ ๊ฒฝ๋กœ
    • mkdir : ๋…ธ๋“œ ์‹คํ–‰ ์ „ ์ƒ์„ฑํ•  ํด๋” ๊ฒฝ๋กœ
  2. file : ๋…ธ๋“œ์—์„œ ์‚ฌ์šฉํ•  ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๊ฒฝ๋กœ๋ฅผ ์„ค์ •
  3. archive : archive๊ฒฝ๋กœ๋ฅผ ์„ค์ •
  4. retry
    • max : ์‹คํ–‰ ์‹คํŒจ ์‹œ ์žฌ์‹œ๋„ ํšŸ์ˆ˜
    • period : ์žฌ์‹œ๋„ ์ฃผ๊ธฐ(๋ถ„ ๋‹จ์œ„)
  5. property : ์‹คํ–‰์— ์‚ฌ์šฉํ•  property (key, value) ์ž…๋ ฅ
  6. javaOpts : JAVA ์‹คํ–‰์‹œ ์ ์šฉํ•  ์˜ต์…˜ (ex : -Xms256m)
  7. captureOutput : JAVA ์‹คํ–‰๊ฒฐ๊ณผ๋ฅผ ๋‹ค์Œ ๋…ธ๋“œ๋กœ ์ „๋‹ฌ ์—ฌ๋ถ€
  8. mainClass : ์‹คํ–‰ํ•  JAVA ํด๋ž˜์Šค ์ž…๋ ฅ
  9. params : main ํ•จ์ˆ˜์— ์ „๋‹ฌํ•  parameter ์ž…๋ ฅ
  10. jobXml : jobXml ๊ฒฝ๋กœ ์ž…๋ ฅ. ์žก์— ์ „๋‹ฌํ•  ํ”„๋กœํผํ‹ฐ๋ฅผ ๋ณ„๋„ xml ๋กœ ์ž‘์„ฑํ•˜์—ฌ ์ „๋‹ฌ๊ฐ€๋Šฅ
  11. forceOK : ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๊ฐ€ ์‹คํŒจํ•ด๋„ ์ •์ƒ์œผ๋กœ ํ‘œ์‹œํ•˜๊ณ  ์ข…๋ฃŒ

Example

AddTwoNumbers.class ํŒŒ์ผ์„ java ๋…ธ๋“œ์—์„œ ์‹คํ–‰ํ•˜๋Š” ์˜ˆ์ œ์ด๋‹ค.

  1. HDFS๋ธŒ๋ผ์šฐ์ €์—์„œ AddTwoNumbers.class ํŒŒ์ผ์„ ๋จผ์ € ๋“ฑ๋กํ•œ๋‹ค.
  2. [Flow๊ตฌ์„ฑ] > [java] ๋…ธ๋“œ๋ฅผ drag & drop ํ•œ ํ›„ setting ํŒจ๋„์—์„œ ์‹คํ–‰ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์„ ํƒํ•œ๋‹ค.
  3. property ํŒจ๋„์—์„œ ์•„๋ž˜์™€ ๊ฐ™์ด ์ž…๋ ฅํ•œ๋‹ค.
    • 2.file : AddTwoNumbers.class ํŒŒ์ผ ์ €์žฅ๊ฒฝ๋กœ ์ง€์ •
    • 8.mainClass : mainClass๋ช… ์ž…๋ ฅ "AddTwoNumbers"