pivot

Definition

์—ด์„ ํ”ผ๋ฒ—ํ•˜์—ฌ ์ง€์ •๋œ ์ง‘๊ณ„ํ•จ์ˆ˜๋ฅผ ์ˆ˜ํ–‰ํ•ฉ๋‹ˆ๋‹ค.
์ขŒ์ธก [๋ฐ์ดํ„ฐ์ฒ˜๋ฆฌ(๊ธฐ๋ณธ)]๋…ธ๋“œ ์ค‘ [pivot]๋…ธ๋“œ๋ฅผ drag & drop ํ•œ ํ›„ Property ํ•ญ๋ชฉ์„ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค. Property ํŒจ๋„์˜ [๋”๋ณด๊ธฐ+] ๋ฒ„ํŠผ์„ ๋ˆ„๋ฅด๋ฉด ์ž…๋ ฅ๊ฐ€๋Šฅํ•œ ์ „์ฒด Property ํ•ญ๋ชฉ์„ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Set

[setting], [parameter] ์„ค์ •์€ [์›Œํฌํ”Œ๋กœ์šฐ] > [์ƒ์„ฑ] > [๊ธฐ๋ณธ๊ตฌ์„ฑ]์„ ์ฐธ๊ณ ํ•ฉ๋‹ˆ๋‹ค.

Property

[Node Description] ์ž‘์„ฑ ์ค‘์ธ ๋…ธ๋“œ๋ช… ์ž…๋ ฅ
prebasic048

  1. groupBy : ๊ทธ๋ฃนํ•‘ ๊ธฐ์ค€ ์ปฌ๋Ÿผ ์„ ํƒ
  2. pivot_col : ํ”ผ๋ฒ—ํ•  ์ปฌ๋Ÿผ ์„ ํƒ
  3. value : value ๊ฐ’ ์ž…๋ ฅ
  4. func : ์ง‘๊ณ„์— ์‚ฌ์šฉํ•  ํ•จ์ˆ˜(max, min, avg, count, sum) ์„ ํƒ
  5. target_col : ์ง‘๊ณ„ ๊ธฐ์ค€ ์ปฌ๋Ÿผ ์„ ํƒ
  6. overwriteSchema : pivot ๋…ธ๋“œ ์‹คํ–‰๊ฒฐ๊ณผ ์Šคํ‚ค๋งˆ๋ฅผ ์žฌ์ •์˜(์ฒดํฌํ•˜์ง€ ์•Š์„ ๊ฒฝ์šฐ ๊ธฐ์กด ์Šคํ‚ค๋งˆ ์žฌ์‚ฌ์šฉ)
  7. newSchema : pivot ๋…ธ๋“œ ์‹คํ–‰๊ฒฐ๊ณผ๋ฅผ ์ €์žฅํ•  ์ƒˆ๋กœ์šด ์Šคํ‚ค๋งˆ ์ƒ์„ฑ

Example

์†Œ๋น„์ž๋ณ„(group) ๊ฐ€์žฅ ๋งŽ์€ ๋น„์šฉ์„ ์ง€๋ถˆํ•œ ๊ตฌ์ž…ํ’ˆ๋ชฉ์„ ์ •๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์ƒˆ๋กœ ๋งŒ๋“ค์–ด์ง€๋Š” ํ”ผ๋ฒ—ํ…Œ์ด๋ธ”์—์„œ ํ–‰์—๋Š” category(groupBy), ์—ด์—๋Š” group(pivot_col)์ด ์œ„์น˜ํ•˜๋ฉฐ, MAX(price)๊ฐ’์„ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.

  1. [HDFS๋ถˆ๋Ÿฌ์˜ค๊ธฐ], [dropna], [pivot] ๋…ธ๋“œ๋ฅผ Designer์— Drag & Dropํ•˜์—ฌ ์›Œํฌํ”Œ๋กœ์šฐ ์ƒ์„ฑ prebasic049
  2. [pivot] ๋…ธ๋“œ๋ฅผ ์•„๋ž˜์™€ ๊ฐ™์ด ์„ค์ •ํ•˜๊ณ  snapshot์„ ํด๋ฆญ

snapshot ํด๋ฆญ์‹œ ์—๋Ÿฌ๋ฐœ์ƒํ•˜์—ฌ ์ด๋ฏธ์ง€ ์บก์ฒ˜ ์‹คํŒจ. ์žฌ์ž‘์—… ํ•„์š”