java

Definition

HDFS์ƒ์— ๋ฏธ๋ฆฌ ์˜ฌ๋ ค๋‘” Java Class์˜ ์ด๋ฆ„์„ main Class์— ์ž‘์„ฑํ•ด์•ผ ์‹คํ–‰์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.
์ขŒ์ธก [Flow๊ตฌ์„ฑ]๋…ธ๋“œ ์ค‘ [java]๋…ธ๋“œ๋ฅผ drag & drop ํ•œ ํ›„ Property ํ•ญ๋ชฉ์„ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค. Property ํŒจ๋„์˜ [๋”๋ณด๊ธฐ+] ๋ฒ„ํŠผ์„ ๋ˆ„๋ฅด๋ฉด ์ž…๋ ฅ๊ฐ€๋Šฅํ•œ ์ „์ฒด Property ํ•ญ๋ชฉ์„ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Set

[setting], [scheduler], [parameter] ์„ค์ •์€ [์›Œํฌํ”Œ๋กœ์šฐ] > [์ƒ์„ฑ] > [๊ธฐ๋ณธ๊ตฌ์„ฑ]์„ ์ฐธ๊ณ ํ•ฉ๋‹ˆ๋‹ค.

property

[Node Description] ์ž‘์„ฑ ์ค‘์ธ ๋…ธ๋“œ๋ช… ์ž…๋ ฅ

java01

  1. prepare : ๋…ธ๋“œ ์‹คํ–‰ ๊ฒฐ๊ณผ๋ฅผ HDFS์— ์ €์žฅํ•˜๊ธฐ ์œ„ํ•ด ํŒŒ์ผ์‚ญ์ œ/ํด๋”์ƒ์„ฑ ์ž‘์—… ์„  ์ˆ˜ํ–‰(์›Œํฌํ”Œ๋กœ์šฐ ๋ฐ˜๋ณต์‹คํ–‰ ์‹œ ํ™œ์šฉ๊ฐ€๋Šฅ)
    • delete : ๋…ธ๋“œ ์‹คํ–‰ ์ „ ์‚ญ์ œํ•  ํด๋”/ํŒŒ์ผ ๊ฒฝ๋กœ
    • mkdir : ๋…ธ๋“œ ์‹คํ–‰ ์ „ ์ƒ์„ฑํ•  ํด๋” ๊ฒฝ๋กœ
  2. file : ๋…ธ๋“œ์—์„œ ์‚ฌ์šฉํ•  ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ๊ฒฝ๋กœ๋ฅผ ์„ค์ •
  3. archive : archive ๊ฒฝ๋กœ๋ฅผ ์„ค์ •
  4. retry
    • max : ์‹คํ–‰ ์‹คํŒจ ์‹œ ์žฌ์‹œ๋„ ํšŸ์ˆ˜
    • period : ์žฌ์‹œ๋„ ์ฃผ๊ธฐ(๋ถ„ ๋‹จ์œ„)
  5. property : ์‹คํ–‰์— ์‚ฌ์šฉํ•  property (key, value) ์ž…๋ ฅ
  6. javaOpts : Java ์‹คํ–‰์‹œ ์ ์šฉํ•  ์˜ต์…˜ ex) -Xms256m
  7. captureOutput : Java ์‹คํ–‰๊ฒฐ๊ณผ๋ฅผ ๋‹ค์Œ ๋…ธ๋“œ๋กœ ์ „๋‹ฌ ์—ฌ๋ถ€
  8. mainClass : ์‹คํ–‰ํ•  Java ํด๋ž˜์Šค ์ž…๋ ฅ
  9. params : main ํ•จ์ˆ˜์— ์ „๋‹ฌํ•  parameter ์ž…๋ ฅ
  10. jobXml : jobXml ๊ฒฝ๋กœ ์ž…๋ ฅ(์žก์— ์ „๋‹ฌํ•  ํ”„๋กœํผํ‹ฐ๋ฅผ ๋ณ„๋„ xml๋กœ ์ž‘์„ฑํ•˜์—ฌ ์ „๋‹ฌ๊ฐ€๋Šฅ)
  11. forceOK : ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๊ฐ€ ์‹คํŒจํ•ด๋„ ์ •์ƒ์œผ๋กœ ํ‘œ์‹œํ•˜๊ณ  ์ข…๋ฃŒ

Example

AddTwoNumbers.class ํŒŒ์ผ์„ java ๋…ธ๋“œ์—์„œ ์‹คํ–‰ํ•˜๋Š” ์˜ˆ์ œ์ž…๋‹ˆ๋‹ค.

  1. [๋ธŒ๋ผ์šฐ์ €] > [HDFS] ๋ธŒ๋ผ์šฐ์ €์—์„œ AddTwoNumbers.class ํŒŒ์ผ ๋“ฑ๋ก
  2. [Flow๊ตฌ์„ฑ] > [java] ๋…ธ๋“œ๋ฅผ drag & drop ํ•œ ํ›„ setting ํŒจ๋„์—์„œ ์‹คํ–‰ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์„ ํƒ
  3. property ํŒจ๋„์—์„œ ์•„๋ž˜์™€ ๊ฐ™์ด ์ž…๋ ฅ
    • 2.file : AddTwoNumbers.class ํŒŒ์ผ ์ €์žฅ๊ฒฝ๋กœ ์ง€์ •
    • 8.mainClass : mainClass๋ช… ์ž…๋ ฅ "AddTwoNumbers"