Pyspark 참고 사이트 정리

구글링도 알고하면 편하다! 고수들이 모인 곳으로 

Python은 그래도 어느정도 다뤄봤지만 Pyspark는 인턴 시작한 이후 처음 다루는 언어여서 정말 여러모로 당황스러웠다. 

처음엔 정말 파이썬과 닮았으면서도 다른 syntax 때문에 엄청 긴장하며 컨설턴트님이 작성해주신 코드를 더듬더듬 읽어가며 코드를 작성했다. 물론 지금도 컨설턴트님 (갓갓)의 코드를 더듬더듬 읽어가며 자습하는 건 같지만 그래도 이젠 에러가 나거나 막히는 상황이 생길 때 어떻게 해야할지 (아주) 약간의 감이 잡혔다. 

이 글에서는 참고 사이트를 정리하고, 다음 글에서는 주로 발생하는 에러들을 리스트업 하고 이에 대한 해결책을 정리해보고자 한다. (괄호)

1. Spark By Examples

가장 Beginner Friendly 한 웹사이트로 스파크의 가장 상세한 튜터리얼이라고 생각한다. 무엇보다도 줄글로 된 상세한 설명을 사랑하는 나에게 Spark By Example의 구구절절한 함수에 대한 설명과 사용 예시는 정말 고마운 존재들이다. 웬만한 pyspark관한 기초적인 의문점은 거의 여기서 해결 가능하다. (물론 나같이 아주 초심자와 같다는 전제 하일듯) 

2. Stack Overflow 

Stack Overflow와 관련된 무수한 meme 들 중에 시류에 맞는 (스파이더맨 개봉한지 어엿 3개월..) 것을 골라와보았다. 

이미지 출처: https://blog.exellys.com/

상대적으로 답변애 달린 like 수가 다른 언어에 비해 적어 (100개 넘어가는 것 거의 없음) 곤혹스러울 수 있지만 아마 python, js처럼 많이 쓰이는 언어가 아니어서일 것 같다. 답변과 upvote 수는 적어도 쏠쏠한 답변이 많아서 좋다. 

3. Geeks for Geeks

또 하나의 Beginner Friendly 한 사이트! 유일한 단점은 일정 검색 횟수를 초과하면 회원가입 및 로그인을 요구한다는 것이다. 사실 웬만한 답변은 Spark By Examples과 Stack Overflow에 있어 Geeks for Geeks 회원가입 할 일이 없었는데, 며칠 전 계속 구글링 하다가 결국 가입했다. 

링크

Spark By Examples: https://sparkbyexamples.com/pyspark/pyspark-window-functions/

Stack Overflow: https://stackoverflow.com/

Geeks for Geeks: https://www.geeksforgeeks.org/python-string-istitle-method/?ref=lbp