customCode

customCode

PySpark의 DataFrame 함수를 사용하여 사용자 정의 코드를 입력 할 수 있다. 좌측 [데이터처리(고급)]노드 중 [customCode]노드를 drag & drop 한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

dataset 변경 가능 (1줄 입력만 가능) ex. withColumn('temp_filled_spark', filled_column)

code PySpark의 DataFrame 함수 1줄 입력 overwriteSchema 실행 결과에 대한 데이터 스키마 저장 여부

1. code : Dataframe에서 사용 가능한 함수가 포함된 코드(filter(), drop(), limit() 등) 작성
2. variableName : 변수명 입력
3. variableType : 변수타입 입력
4. overwriteSchema : 실행결과에 대한 스키마를 재정의(체크하지 않을 경우 이전 스키마를 그대로 사용함)
5. newSchema