데이터 병합 & 피처 엔지니어링(파생 특징)

사용자, 영화, 평점 데이터셋 

http://files.grouplens.org/datasets/movielens/ml-100k.zip

실습 데이터 : 사용자들이 영화에 대해 매긴 점수와 관련된 100k 데이터 집합

[root@client_server ~]# vi $SPARK_HOME/conf/spark-env.sh

export PYSPARK_DRIVER_PYTHON=/root/anaconda3/envs/py35/bin/ipython3

[root@client_server ~]# $SPARK_HOME/bin/pyspark --master spark://master:7077

pyspark를 아이 파이썬 콘솔 기능으로 사용 가능!

---

[root@client_server ~]# cd dataset/ml-100k

[root@client_server ~]# ls

[root@client_server ~]# head -3 u.user #추출할 데이터 형태 확인

[root@client_server ~]# head -3 u.data #추출할 데이터 형태 확인

[root@client_server ~]# head -3 u.item #추출할 데이터 형태 확인

필요한 사용자, 영화, 평점 데이터프레임 형성하기

>> user=sc.textFile("u.user").map(lambda x:x.split("|")).map(lambda x:x[:4]).collect()

>> rating=sc.textFile("u.data").map(lambda x:x.split("\t")).map(lambda x:x[:3]).collect()

>> movie=sc.textFile("u.item").map(lambda x:x.split("|")).map(lambda x:x[:2]).collect()

>> import pandas as pd

>> colnames1=["user_id","age","gender","occupation"]    

>> colnames2=["user_id","movie_id","rating"]

>> colnames3=["movie_id","movie_name"]

>> user_df=pd.DataFrame(user,columns=colnames1) ;user_df.head(3)

>> rating_df=pd.DataFrame(rating,columns=colnames2) ;rating_df.head(3)

>> movie_df=pd.DataFrame(movie,columns=colnames3) ;movie_df.head(3)

사용자, 영화, 평점 데이터셋 병합

>> merge_df=pd.merge(user_df,pd.merge(movie_df,rating_df,how="inner"),how="inner") #merge by "movie_id" and  "user_id"

>> merge_df.columns

>> merge_df=merge_df.iloc[:,[0,1,2,3,6,4,5]] #iloc는 integer로 indexing /loc는 label로 indexing

>> merge_df.describe()

>> merge_df["rating"]=pd.to_numeric(merge_df["rating"]) #파생특징 추출 위해, 숫자로 형변환

파생 특징 추출(Feature Engineering)

#사용자별 성별 "평점 평균, 평점 분산(호불호 정도), 영화 관람 횟수(관심도)" 구하기

1. mean(평점 평균) : 관람객의 '영화에 대한 만족 정도 또는 그 기준'을 측정

2. var(평점 분산) : 관람객의 '영화에 대한 호불호 정도'를 측정

3. size(영화 평점부여 횟수) : '영화에 대한 관심도, 즉 라이프스타일'을 측정

>> group=merge_df.groupby(["user_id","gender"]).agg([np.mean,np.var,np.size])

>> group.columns=group.columns.get_level_values(1) #remove multi index

>> group=group.reset_index() #change multi index to be columns

  이 포스트에서는 피처 엔지니어링의 한 예로써, 파생 특징을 들었지만 이 뿐만 아니라 숫자(관람자 연령), 카테고리(관람자 성별 및 직업, 영화 장르), 텍스트 특징(영화 제목, 리뷰 등) 또한 있습니다.