systematic

Definition

[데이터불러오기]에서 불러온 데이터를 일정한 간격을 두고 샘플링할 때 사용하는 노드입니다.
모집단의 순서에 어떤 경향이나 주기성이 없고 랜덤 하게 배열된 경우 random 샘플링보다 더 좋은 정밀도를 얻을 수 있습니다.
좌측 [데이터샘플링]노드 중 [systematic]노드를 drag & drop 한 후 Property 항목을 볼 수 있습니다.

[Note] Systematic Sampling
첫 번째 요소는 무작위로 선정한 후 목록의 매번 k번째 요소를 표본으로 선정하는 표집방법이다. 모집단의 크기를 원하는 표본의 크기로 나누어 k를 계산한다. 여기서 k는 표집간격이라고 불린다.
출처 : 위키백과 계통추출법 (2018년 4월 21일(토) 15:41)

Set

[setting], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

Property

[Node Description] 작성 중인 노드명 입력

1. count : 샘플링할 데이터 개수
2. includeJob : 배치/스케줄링 작업 수행 시 샘플링 포함여부

Example

random 샘플링에서 사용한 HR_Retention.csv(14,999 records)파일에서 systematic 샘플링작업을 수행합니다. 1부터 14,999까지 샘플링 단위가 있는 모집단에서 20개를 뽑을 때, k(표집간격)=14,999/20=749.xx이므로 처음 1부터 749번 사이에서 임의로 하나를 뽑고 그 다음부터는 749씩 더해서 뽑습니다. 아래 예시와 같이 123번 값이 처음 선택되었다면 다음에는 872번, 1621번 등을 샘플링합니다.

1. [HDFS불러오기], [systematic]] 노드를 Designer에 Drag & Drop하여 워크플로우 생성
   
2. [systematic]노드의 count 값을 20으로 설정(전체 데이터 중 20개만 샘플링)
3. [systematic]노드의 snapshot을 클릭하면 아래와 같이 샘플링됨을 확인가능