select

Definition

필요 컬럼만 선택하여 조회하는 노드이다. 컬럼 선택 순서에 따라 노출 순서가 적용된다. 팝업기능을 제공하므로 노출순서를 확인할 수 있다. 좌측 [데이터처리(기본)]노드 중 [select]노드를 drag & drop 한 후 Property 항목을 입력한다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. col : 적용할 column 선택. 아래 2가지 방법 지원
   • 우측 수정버튼 활용하여 필요 컬럼 선택
   • 드롭다운 버튼에서 필요 컬럼 선택

Example

Sample 데이터로 사용중인 상품정보에서 필요한 컬럼(goods_id, category, price, shop_id)만 선택하는 워크플로우를 작성한다(실행클러스터 : kbtest).

1. hdfs에 적재된 파일(goods-sample2.csv)을 [HDFS불러오기]로 불러온다. 입력정보는 아래와 같다.

   property	input data
   1.file	hdfs://kbtest-accu-hdfs-nn.suka:9000/tmp/goods-sample2.csv
   2.format	csv
   3.delimiter	,
   4.sampling	100%
   11.schema	자동파싱

   

2. [HDFS불러오기] 작업에서 만들어진 ETL 노드 내부에 [select]노드를 drag & drop 한 후 두 노드를 연결한다.

1. [select]노드 "1.col" property에서 드롭다운 버튼을 눌러 필요한 컬럼을 선택한다(우측 [수정] 버튼 클릭 후 선택해도 무방).

4. select 노드에서 스냅샷정보와 스키마정보를 확인한다.

   • 스냅샷 정보
     

   • 노드 스키마 정보
     

Troubleshooting

1. 클러스터 [OOO]의 세션상태를 확인할 수 없습니다.(설정 > 세션관리)

Apache Livy 세션이 종료됐거나, 클러스터 내 가용 Memory를 다수 점유하고 있어 워크플로우 실행이 어려울 경우 위와 같은 메시지가 나타날 수 있다. 아래와 같이 조치한다.

1> [설정] > [세션관리]에서 세션 상태정보를 확인한다. [NONE], [DEAD] 상태일 경우 기능 필드에서 [세션생성] 버튼을 눌러 Livy Seseeion을 생성한다.

2> 상태정보가 [IDLE]일 경우 Livy Session은 떠 있으나, 현재 작업중 또는 작업완료 후 메모리를 반환하지 않은 상태이다. 아래와 같이 작업상태를 먼저 확인한다.

• [DHP] > [CLUSTER] > 작업 클러스터명 > [APPL HISTORY] 으로 이동 후 ID별 작업상태(State, Final State)정보를 확인한다.
• "bpSession"을 제외한 다른 작업들이 종료상태라면 [세션관리]에서 [세션삭제] 후 [세션생성] 작업을 수행한다.