stratified

Definition

[데이터불러오기]에서 불러온 데이터를 그룹으로 나누고 각 그룹안에서 데이터를 무작위로 샘플링할 때 사용합니다. 각 그룹에서 정해진 개수를 추출할 수도 있고, 경우에 따라서는 비율에 맞춰서 추출하는 게 더 효과적일 수 있습니다.
좌측 [데이터샘플링]에서 [stratified]노드를 drag & drop 한 후 Property 항목을 입력합니다.
Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.

Set

[setting], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

Property

[Node Description] 작성 중인 노드명 입력

1. method : 각 층별로 일정한 개수의 rocord를 선택하거나, 일정한 비율(0.0~1.0 사이) 입력
   • record : selectType을 record로 선택시 num 항목에 입력한 수치만큼 각층 별로 선택
   • ratio : selectType을 ratio로 선택시 fraction항목에 입력한 비율만큼 각 층별로 선택
2. col : 적용할 기준 컬럼 선택(컬럼의 Unique한 값으로 계층 분류)
3. withReplacement : 각 층별 랜덤샘플링시 복원/비복원 추출 여부 선택
   • true : 복원추출(한 번 추출한 데이터를 복원하여 다시 할 수 있음)
   • False : 비복원추출(추출한 데이터는 제외하고 sampling 수행)
4. includeJob : 배치/스케줄링 작업 수행 시 샘플링 포함여부

Example

random 샘플링에서 사용한 HR_Retention.csv(14,999 records)파일에서 stratified 샘플링작업을 수행합니다. HR_Retention 테이블의 기준컬럼을 sales로 선택할 경우 sales 컬럼의 category가 10개이므로, record를 10으로 입력할 경우 100개(category별 10개씩)의 데이터가 sampling됩니다. ratio를 0.1로 선택시 catetory별로 10%의 데이터를 추출합니다.

1. [HDFS불러오기], [stratified] 노드를 Designer에 Drag & Drop하여 워크플로우 생성
   
2. [stratified]노드의 method 값을 record로 선택(num = 10)하고 col을 sales로 선택(100개의 데이터 생성)
3. [stratified]노드의 method 값을 ratio로 선택(ratio = 0.15)하고 col을 sales로 선택(category별 15%씩 총 2,255개의 데이터 생성)