Data

데이터

데이터 세트는 직접 업로드하는 raw데이터와 raw데이터로 전처리해 만드는 데이터가 함께 보관되는 단위이다. 데이터를 업로드하면 데이터 세트를 함께 만들게 된다.

데이터 세트

데이터 세트는 직접 업로드하는 raw데이터와 raw데이터로 전처리해 만드는 데이터가 함께 보관되는 단위이다. 데이터를 업로드하면 데이터 세트를 함께 만들게 된다.

데이터 업로드

• 데이터 관리 화면이다. 우측 상단의 데이터 생성 버튼을 누르면 데이터 세트 생성 팝업이 뜬다.
• 아래 과정은 데이터를 업로드하는 과정이다. 먼저, 학습 이미지 데이터를 업로드한다.

a. 데이터 세트 생성 정보를 입력한다. 데이터 세트 명과 데이터 세트 설명을 입력한다.

• 데이터 세트 명: train-image
• 데이터 세트 설명: training image set

b. RAW 데이터 등록 정보를 입력한다. 저장할 데이터 명과 RAW 데이터 설명을 입력한다. RAW 데이터 설명 입력 란은 맨 아래에 있다.

• 저장할 데이터 명: train-image
• RAW 데이터 설명: jpg image for training

c. 데이터 파일을 등록한다. ICOS에서 데이터를 가져올 것이므로, ICOS를 선택한다.

d. 데이터 파일 등록 우측의 폴더 아이콘을 클릭하면 경로 검색 창이 나온다.

파일 위치: IBMOSC1146611-6 > handson-bucket > DL > intel-image-classification > train-image

여러 개의 파일을 ctrl+클릭으로 동시에 선택하여 올릴 수 있다.

train-image 폴더 안에 있는 모든 파일(59개)을 선택하고 선택 버튼을 누른다.

e. 데이터 저장 경로는 데이터 세트 정보와, RAW 데이터 정보를 입력하면 자동 생성된다. 생성 버튼을 누르면 데이터가 업로드 되면서 데이터 세트가 생성된다.

• 다음으로, 학습 label csv 데이터를 업로드한다.

a. 데이터 세트 생성 정보를 입력한다. 데이터 세트 명과 데이터 세트 설명을 입력한다.

- 데이터 세트 명: train-label

- 데이터 세트 설명: training label set

b. RAW 데이터 등록 정보를 입력한다. 저장할 데이터 명과 RAW 데이터 설명을 입력한다. RAW 데이터 설명 입력 란은 맨 아래에 있다.

- 저장할 데이터 명: train-label

- RAW 데이터 설명: label csv data for training

c. 데이터 파일을 등록한다. ICOS에서 데이터를 가져올 것이므로, ICOS를 선택한다.

d. 데이터 파일 등록 우측의 폴더 아이콘을 클릭하면 경로 검색 창이 나온다.

파일 위치: IBMOSC1146611-6 > handson-bucket > DL > intel-image-classification > train-label train-image 폴더 안에 있는 csv 파일을 선택하고 선택 버튼을 누른다.

e. 데이터 저장 경로는 데이터 세트 정보와, RAW 데이터 정보를 입력하면 자동 생성된다. 생성 버튼을 누르면 데이터가 업로드 되면서 데이터 세트가 생성된다.

• 마지막으로 예측 이미지를 업로드한다.

a. 데이터 세트 생성 정보를 입력한다. 데이터 세트 명과 데이터 세트 설명을 입력한다.

- 데이터 세트 명: pred-image

- 데이터 세트 설명: prediction image set

b. RAW 데이터 등록 정보를 입력한다. 저장할 데이터 명과 RAW 데이터 설명을 입력한다. RAW 데이터 설명 입력 란은 맨 아래에 있다.

- 저장할 데이터 명: pred-image

- RAW 데이터 설명: jpg image for prediction

c. 데이터 파일을 등록한다. ICOS에서 데이터를 가져올 것이므로, ICOS를 선택한다.

d. 데이터 파일 등록 우측의 폴더 아이콘을 클릭하면 경로 검색 창이 나온다.

파일 위치: IBMOSC1146611-6 > handson-bucket > DL > intel-image-classification > pred-image

여러 개의 파일을 ctrl+클릭으로 동시에 선택하여 올릴 수 있다. pred-image 폴더 안에 있는 모든 파일(22개)을 선택하고 선택 버튼을 누른다.

e. 데이터 저장 경로는 데이터 세트 정보와, RAW 데이터 정보를 입력하면 자동 생성된다. 생성 버튼을 누르면 데이터가 업로드 되면서 데이터 세트가 생성된다.

• 각 데이터 별로 데이터 세트 생성 정보, RAW 데이터 등록 정보, 파일 위치가 달라진다.

업로드데이터 확인

• 데이터 업로드 과정을 모두 수행하고 나면, 위와 같이 세 개의 데이터 세트가 만들어진다.
• 데이터 관리 화면에서, 생성된 이미지 데이터 세트 이름을 누르면 해당 데이터의 전처리 상세 화면으로 진입할 수 있다.

• DL Modeler의 모든 데이터는 전처리 알고리즘을 거친 것으로 가정한다.
• 업로드 한 RAW 데이터의 전처리 알고리즘은 rawData 이다. rawData는 아무런 변화가 없는 전처리를 수행했음을 의미한다.
• 전처리 알고리즘이 rawData인 데이터명을 클릭하면 업로드한 데이터에 관한 데이터 전처리 상세 팝업을 볼 수 있다.

• 우측의 데이터 예시 확인 란에서 업로드 된 데이터 예시를 확인할 수 있다.
• 예시 리프레시 버튼을 누를 때마다 데이터 중 하나를 랜덤으로 보여준다.