executeHive

Definition

JDBC๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์›๊ฒฉ์— ์žˆ๋Š” Hive ํ…Œ์ด๋ธ”์— ๋Œ€ํ•œ ๋ช…๋ น์„ ์‹คํ–‰ํ•œ๋‹ค. [hive] ๋…ธ๋“œ๋ณด๋‹ค ๋” ํ™•์žฅ๋œ ๊ธฐ๋Šฅ์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋‹ค. ์ขŒ์ธก [Flow๊ตฌ์„ฑ]๋…ธ๋“œ ์ค‘ [distcp]๋…ธ๋“œ๋ฅผ drag & drop ํ•œ ํ›„ Property ํ•ญ๋ชฉ์„ ์ž…๋ ฅํ•œ๋‹ค. Property ํŒจ๋„์˜ [๋”๋ณด๊ธฐ+] ๋ฒ„ํŠผ์„ ๋ˆ„๋ฅด๋ฉด ์ž…๋ ฅ๊ฐ€๋Šฅํ•œ ์ „์ฒด Property ํ•ญ๋ชฉ์„ ๋ณผ ์ˆ˜ ์žˆ๋‹ค.

[Note]
Hadoop ๊ธฐ๋ฐ˜์œผ๋กœ Data Lake๋ฅผ ๊ตฌ์ถ•ํ•œ site์˜ ๊ฒฝ์šฐ Data Lake ๋‚ด hive์— ์ ‘์†ํ•˜์—ฌ ETL ์ž‘์—…์„ ์ง์ ‘ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋‹ค.
๊ธฐ์กด ETL ๊ฐœ๋ฐœ์ž๋“ค์ด ์‚ฌ์šฉํ•˜๊ธฐ ์šฉ์ดํ•˜๋‚˜, Query ์ˆ™๋ จ๋„์— ์„ฑ๋Šฅ์ฐจ์ด๊ฐ€ ๋งŽ์ด ๋‚  ์ˆ˜ ์žˆ์Œ์— ์œ ์˜ํ•œ๋‹ค.

Set

[setting], [scheduler], [parameter] ์„ค์ •์€ [์›Œํฌํ”Œ๋กœ์šฐ ์ƒ์„ฑ] > [์„ค์ •]์„ ์ฐธ๊ณ ํ•œ๋‹ค.

property

[Node Description] ์ž‘์„ฑ ์ค‘์ธ ๋…ธ๋“œ๋ช… ์ž…๋ ฅ

flow004

  1. prepare : ๋…ธ๋“œ ์‹คํ–‰ ๊ฒฐ๊ณผ๋ฅผ HDFS์— ์ €์žฅํ•˜๊ธฐ ์œ„ํ•ด ํŒŒ์ผ์‚ญ์ œ/ํด๋”์ƒ์„ฑ ์ž‘์—… ์„  ์ˆ˜ํ–‰(์›Œํฌํ”Œ๋กœ์šฐ ๋ฐ˜๋ณต์‹คํ–‰ ์‹œ ํ™œ์šฉ๊ฐ€๋Šฅ)
    • delete : ๋…ธ๋“œ ์‹คํ–‰ ์ „ ์‚ญ์ œํ•  ํด๋”/ํŒŒ์ผ ๊ฒฝ๋กœ
    • mkdir : ๋…ธ๋“œ ์‹คํ–‰ ์ „ ์ƒ์„ฑํ•  ํด๋” ๊ฒฝ๋กœ
  2. cluster : Hive๋ฅผ ์ˆ˜ํ–‰ํ•  ํด๋Ÿฌ์Šคํ„ฐ(์ง์ ‘ ์ž…๋ ฅ ์„ ํƒ์‹œ 3,4,5 ์ •๋ณด ์ง์ ‘ ์ž…๋ ฅ)
  3. url : HIVE ์ ‘์† ์ฃผ์†Œ(JDBC URL). jdbc:hive2://hdp-master01:10000
  4. user : Hive ์‚ฌ์šฉ์ž ์ด๋ฆ„
  5. password : Hive ์‚ฌ์šฉ์ž ์•”ํ˜ธ
  6. sql : ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ ธ์˜ค๊ธฐ ์œ„ํ•œ SQL ์ž…๋ ฅ(select ์ฟผ๋ฆฌ๋Š” ์‹คํ–‰ํ•  ์ˆ˜ ์—†์Œ)
  7. version : Hive ๋ฒ„์ „(1.2.1, 3.1.1 ์ค‘ ํƒ1)
  8. retry
    • max : ์‹คํ–‰ ์‹คํŒจ ์‹œ ์žฌ์‹œ๋„ ํšŸ์ˆ˜
    • period : ์žฌ์‹œ๋„ ์ฃผ๊ธฐ(๋ถ„ ๋‹จ์œ„)
  9. forceOK : ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ๊ฐ€ ์‹คํŒจํ•ด๋„ ์ •์ƒ์œผ๋กœ ํ‘œ์‹œํ•˜๊ณ  ์ข…๋ฃŒ

Example

Hive์— ์ €์žฅ๋œ iris ํ…Œ์ด๋ธ”์„ ๊ธฐ๋ฐ˜์œผ๋กœ iris_testqf๋ผ๋Š” ์‹ ๊ทœํ…Œ์ด๋ธ”์„ ์ƒ์„ฑํ•œ๋‹ค.

flow034

  • [๋ธŒ๋ผ์šฐ์ €] > [HIVE] ์—์„œ test1234 ํด๋Ÿฌ์Šคํ„ฐ Hive ๊ณ„์ •์˜ iris ํ…Œ์ด๋ธ” ๋‚ด์—ญ์„ ํ™•์ธํ•œ๋‹ค.

flow035

  1. [2.cluster]์—์„œ hive๊ฐ€ ์œ„์น˜ํ•œ ํด๋Ÿฌ์Šคํ„ฐ๋ฅผ ์„ ํƒ. ํด๋Ÿฌ์Šคํ„ฐ ์„ ํƒ์‹œ [3.url], [4.user], [5.password] ํ•ญ๋ชฉ์€ ์ž๋™ ์„ ํƒ๋œ๋‹ค.
  2. [6.sql]์— ์ฟผ๋ฆฌ๋ฅผ ์ž…๋ ฅํ•œ๋‹ค. ์˜ค๋ฅธ์ชฝ [query editor]๋ฒ„ํŠผ ํด๋ฆญํ•˜์—ฌ ํŒ์—…๋œ editor์—์„œ ์ง์ ‘ ์ฟผ๋ฆฌ๋ฅผ ์ž‘์„ฑํ•  ์ˆ˜ ์žˆ๋‹ค.

์›Œํฌํ”Œ๋กœ์šฐ ์‹คํ–‰๊ฒฐ๊ณผ๋กœ ์ƒˆ๋กœ์šด ํ…Œ์ด๋ธ”์ด ์ƒ์„ฑ๋๋‹ค.

flow036