customCode

Definition

PySpark의 DataFrame 함수를 사용하여 사용자 정의 코드를 입력 할 수 있다. 좌측 [데이터처리(고급)]노드 중 [customCode]노드를 drag & drop 합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.

Set

[setting], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고합니다.

property

[Node Description] 작성 중인 노드명 입력

1. code : Dataframe에서 사용 가능한 함수가 포함된 코드(filter(), drop(), limit() 등) 작성
2. variableName : 변수명 입력
3. variableType : 변수타입 입력 (spark DF, pandas DF, RDD)
4. overwriteSchema : 실행결과에 대한 스키마를 재정의(체크하지 않을 경우 이전 스키마를 그대로 사용함)
5. newSchema

Note

dataset 변경 가능 (1줄 입력만 가능)

• ex. withColumn('temp_filled_spark', filled_column)

Example

HDFS 데이터를 불러와 PySpark의 limit() 함수를 이용하여 3개 데이터만 표시하는 워크플로우를 구성합니다.

1. [HDFS불러오기], [customCode] 노드를 Designer에 Drag & Drop하여 워크플로우 생성
   
2. [customCode]노드에 아래와 같이 입력 후 snapshot 클릭