브라우저

브라우저

BatchPipeline 상단의 메뉴에서 브라우저 항목을 확인할 수 있으며, 하위에 아래 3가지 세부 메뉴를 확인할 수 있다.

  1. HDFS Browser
  2. Hive Browser
  3. S3 Browser

HDFS Browser

browser001

① 좌측의 Dropdown box에서 접근할 cluster명 선택 혹은 ‘직접입력’ 선택하여 api url과 사용자명 입력 후 ‘Apply’ 버튼 클릭

  • API URL : 호출할 WebHDFS 서버 주소가 기존 주소가 아닌 경우 입력
  • (예:http://dataplatform01:50070/webhdfs/v1)
  • User Name : WebHDFS사용자명. 로그인사용자와는 다른 HDFS사용자명(추후 로그인사용자를 HDFS사용자와 연동 시 같은 사용자명이 될 수 있음)
  • Apply : API URL / User Name을 입력하더라도 Apply버튼을 클릭하지 않으면 반영되지 않는다.
  • 마찬가지로 수정 후에도 Apply버튼을 클릭하지 않으면 반영되지 않는다.

② Action icon

  • HDFS 경로 복사
  • 권한 변경
  • 이름변경
  • 폴더 생성
  • 업로드
  • 다운로드
  • 삭제

③ 사용자 별 HDFS 폴더 또는 파일 목록

이름변경

browser002

  • 이름변경: 이름을 변경하려는 폴더/파일을 클릭하면 해당 아이콘이 활성화 됨. 클릭하여 이름변경

폴더생성

browser003

  • 폴더 생성: 폴더를 생성하려는 tree구조 위치를 선택 후 클릭하여 폴더 생성 팝업이 뜨면 이름을 입력 후 저장 버튼 클릭하여 폴더 생성
  • 팝업에서 수정 후 저장 버튼 클릭하여 저장

파일업로드

browser004

  • 업로드: 파일업로드버튼 클릭 시 팝업 활성화 됨, 파일 추가 버튼 클릭하여 로컬의 파일을 선택 후 확인버튼 클릭하면 ‘파일업로드’ 팝업에 파일이 추가됨. n개의 파일을 추가 후 ‘전체 업로드’ 혹은 ‘전체 삭제’버튼 클릭하여 진행

다운로드 및 삭제

browser005

  • 다운로드: 다운로드할 ‘파일’ 선택 후 다운로드 버튼 클릭 시 로컬로 다운로드 진행
  • 삭제: 삭제할 파일/폴더 클릭 후 삭제 버튼 클릭하여 삭제

권한변경

browser006

  • 파일/디렉토리를 선택한 후 권한 변경 버튼을 클릭
  • 소유자 / 그룹 / 공개 별로 권한을 설정

HIVE 브라우저

클러스터 hive에 접속해서 query를 실행할 수 있다.

browser007

① 접근하고자 하는 Cluster 선택

② DB 선택

③ 검색할 테이블 명을 입력 후 ‘찾기’ 아이콘 클릭하여 검색이 가능하다.

④ Table명 선택 : 테이블 샘플 데이터 및 스키마 조회 가능하다.

⑤ ③에서 선택한 table의 schema 출력되며 ⑤에서 제외할 column의 checkbox 해제

⑥ 실행할 쿼리를 입력한다.

⑦ Hive 계정관리 : Hive 접속 시 사용할 계정 정보를 관리한다.

⑧ 새쿼리 : 쿼리 에디터를 초기화 한다.

⑨ 쿼리실행이력 : 실행한 쿼리의 이력을 관리한다.

⑩ 쿼리저장목록 : 쿼리를 저장하여 관리한다.

⑪ 쿼리 실행

⑫ 저장 : 쿼리 에디터에서 작성중인 쿼리를 저장한다.

⑬ ③과 ④에서 선택한 table또는 ⑥에서 실행한 쿼리 결과의 column list 및 데이터가 출력된다. 각 column name을 클릭하여 해당 column기준으로 sorting가능하다.

⑭ 검색어를 입력한 뒤 ‘찾기’ 아이콘 클릭하여 데이터를 검색한다.

HIVE 계정관리

browser008

클러스터의 Hive 계정을 등록/수정/삭제 할 수 있다.

HIVE 쿼리실행이력

browser009

쿼리 실행 이력을 관리한다. 쿼리의 실행 시각, 쿼리 내용, 상태, 수행 시간을 조회할 수 있으며 실행이력을 삭제 할 수 있다.

HIVE 쿼리저장이력

browser010

쿼리 저장을 한 경우 저장된 쿼리를 관리 할 수 있다.

[Note]
Hive에서 실행되는 쿼리라면 Hive 브라우저에서 실행할 수 있다.
숫자타입 데이터를 Insert into query로 입력할 경우 싱글쿼테이션이 포함되면 null값으로 표현된다.

S3 브라우저

browser011

① 좌측의 Dropdown box에서 접근할 S3 버킷 선택 ② Action icon

  • Bucket 관리
  • 이름변경, 폴더생성, 다운로드, 삭제 (사용방법은 HDFS Browser과 같다.) ③ 해당 버킷의 S3 폴더 또는 파일 목록

버킷관리

browser012

접근 가능한 버킷목록을 확인/삭제할 수 있다.

버킷추가

browser013

버킷관리 팝업 우측상단의 추가버튼 클릭하여 버킷정보를 입력한 뒤 저장하여 등록할 수 있다.

  1. Bucket Name : Bucket name 입력
  2. AccessKey : S3리소스에 엑세스하기 위한 S3 사용자 계정 입력
  3. SecretKey : S3리소스에 엑세스하기 위한S3 secret key 입력
  4. Endpoint : S3 리소스에 엑세스하기 위한 S3 Endpoint 입력