AutoML

Accu.Tuning 개요

1. Accu.Tuning 소개 및 주요기능

Accu.Tuning은 Parameter 함께 코딩 없이도 자동으로 최적의 머신러닝 모델을 찾아보세요. 데이터 분석 전문가가 아니더라도 사용할 수 있는 Accu.Tuning을 통해 다양한 알고리즘과 하이퍼파라미터를 빠르게 적용해볼 수 있습니다. 복잡한 데이터 분석에 소요되는 시간은 줄이고, 분석 성능은 높여보세요. TPOT, Auto-sklearn 등 다양한 오픈소스 AutoML 프레임워크를 교차 활용하여 그 성능을 높이고, 다양한 산업군과 회귀·분류 등 어느 예측 목적에도 적용 가능합니다. 분석이 끝난 모델도 AccuInsight+나 Scikit-Learn 등으로 빠르게 배포하여, 쉽게 가공하고 활용할 수 있습니다.

(1) Preprocessor : 내 데이터에서 결측값 처리, 라벨링 등 복잡한 전처리 과정을 간편하게 처리하고 AutoML에 맞는 데이터셋을 자동으로 구성해보세요.

(2) Modeler : 정의한 문제에 따라 TPOT, Auto-sklearn 등 오픈소스 AutoML 프레임워크를 이용한 최적의 모델과 하이퍼파라미터를 찾고, API를 통해 AccuInsight+ 등으로 바로 배포할 수 있습니다.

(3) Deploy : 구성된 머신러닝 모델들의 성능을 다양한 지표로 비교하여 최적의 모델을 선정하고, 설명 가능한 AI 기술을 통해 내 모델의 의미가 무엇인지 파악할 수 있도록 합니다.

2. 참고

Accu.Tuning은 hyperparameter 최적화 엔진으로 Optuna를 사용하였으므로 Optuna에 대한 기본 지식이 있으면 매뉴얼을 이해하는데 많은 도움이 됩니다.

Optuna Document는 아래의 경로를 참고 하시기 바랍니다.

https://optuna.org/

Experimemts

Experiment란, 사용자가 분석하고 싶은 하나의 과제를 의미합니다. 한 Experiment에는 하나의 Data Source를 추가할 수 있습니다.

1. 새로운 실험을 생성합니다.
2. 현재 생성되어 있는 실험항목들을 볼 수 있습니다.
3. 생성된 실험을 시작/정지/삭제 를 할 수 있습니다.

1. 새 Experiment 만들기

사용자가 가지고 있는 데이터 파일을 Accu.Tuning으로 업로드 힙니다. 또한 From the URL 항목을 통해 AccuInsight+의 데이터를 업로드 할 수 있습니다.

1. 새로운 실험을 생성합니다.
2. 사전에 만들었었던 파일들로 실험을 생성할 수 있습니다.
3. 새로운 파일을 업로드 하여 실험을 진행할 수 있습니다.

Overview

Overview 탭에서 Estimator type, target 등의 분석 설정을 수행하고, Source Preview와 Source Columns 에서 데이터 분포를 확인합니다.

1. AutoML 옵션 설정하기

1. 각 프로세스가 순서대로 있습니다.
2. Overview에서 설정할 수 있는 옵션입니다.
3. 메인 옵션들을 설정한 후 AutoML을 바로 실행할 수 있습니다.

1. 분류/회귀 문제와 타겟 변수, 런타임 제한, Framework 선택, 컨테이너 개수를 설정할 수 있습니다.
2. 평가함수, 최대평가횟수, 리샘플링전략, 폴드 개수, Test 셋의 비율을 설정할 수 있습니다.
3. 데이터의 변환 및 피쳐 엔지니어링을 설정할 수 있습니다.
4. 원하는 모델을 설정하여 Accu.Tuning를 실행합니다.
5. 추가 실험을 진행하거나 모든 정보를 미리 생성합니다.

2. 데이터 분포 확인 확인하기

1. 테이블 미리보기와 데이터의 분포를 볼 수 있습니다.

Preprocess

1. Preprocess에서 진행한 전처리를 순차적으로 볼 수 있습니다.
2. Accu.Tuning의 Preprocess 추천, 변수들간의 상관분석을 볼 수 있습니다.
3. 각 변수를 선택하고, 타입변환과 이상치제거, 분포변환을 할 수 있습니다.

Leaderboard

Accu.Tuning 모델의 점수와 변수의 중요도 등을 볼 수 있습니다.

1. 변수의 중요도, Lime, 파라미터 정보, 다른 Metrics를 볼 수 있습니다.
2. 점수가 유사하고 같은 모델을 펼쳐서 볼 수 있습니다.
3. 해당모델을 Deploy하여 다운로드 할 수 있습니다.

Deployment

1. Deploy한 모델의 정보를 볼 수 있습니다.
2. Test data를 볼 수 있습니다.
3. 생성된 모델로 Test data를 입력하여 예측합니다.

1. Model 정보 확인하기

1. Binary 모델 파일을 다운로드 받고, 사용하는 방법에 대한 설명입니다.
2. 모델의 PipeLine을 볼 수 있습니다.
3. 여러가지 Metrics들을 보고 모델을 평가 및 해석할 수 있습니다.
4. 변수 중요도, 잔차도, 예측오류에 대해서 볼 수 있습니다.

2. Model을 내려받아 사용하기

1. Binary 모델 파일을 다운로드 받습니다.
2. autoinsight-helpsers package를 다운한 후, 모델 piepline을 불러오는 소스코드가 있는 폴더에 압축을 풉니다.
3. 아래 소스코드와 같이 모델 piepline을 볼러옵니다.

import pickle

pipeline = pickle.load(open('dep.1.model', 'rb'))