PySaprk:DataFrame(4)

#스파크 #파이스파크 #lit( )

exam_child_dataframe. \

withColumn('SPEC', when((col('AGE') > 20) & (col('AGE') <= 30), col('AGE')).otherwise(lit(None))). \

show()

Lit?

무슨뜻일까?

우리 실생활 영어에서는 좀(?) 이상한 뜻으로 쓰이기도 하는데,

PyStark 에서 lit() 함수는 좀(!) 다른 용도로 사용됨.

간단하게만 알아보려고.

Code 01.

---

-- 01. exam_child_dataframe.show()

-- 02. exam_child_dataframe. \

withColumn('SPEC', when((col('AGE') > 20) & (col('AGE') <= 30), col('AGE')).otherwise(lit(None))). \

show()

---

결과를 보면 앞으로 lit() 함수를 어떻게 사용해야 할 지 감이올텐데.

코드상에서 볼 수 있듯이,

AGE 컬럼이 20 ~ 30 사이에 있는 사람들은 특별한 컬럼값을 추가 할 수 있고

나머지 사람들은 빈 값으로 대체됨.

.otherwise() 함수에 lit() 함수를 사용해서 null 값을 만들어냄.

사실 이건 데이터와 함께 관찰해보기 위해서 만든 스토리.

주요한 목적은 빈 컬럼을 만들어 내기 위해서 사용함.

사실 이것만 보고서

앞으로 lit() 함수를 사용해서 뭔가 원하는 결과를 만드는 중간 과정으로 사용 할 수 있겠지.