셰익스피어 sonnet에서 가장 많이 쓰인 단어는?

파이썬 NLTK를 활용한 말뭉치 조사

STEP 1

NLTK 라이브러리에서 필요한 함수 읽어오기

STEP 2

##텍스트 파일 읽어오는 함수

def opener(title):

return open("/Users/Name/Downloads/"+title+".txt", "r").read()

STEP 3

## 줄바꿈 정제하기, 모든 단어 소문자로 바꾸기

def tokenize_words(title):

words = T.word_tokenize(opener(title).replace('\n', ' ').lower())

return [w for w in words if w not in S.words("english")]

STEP 4

## 말뭉치 단어 갯수 찾기

def word_count(words, title):

text = all_unique_count(title)

analyzed_text = text[text['word'].isin(words)].sort_values(by='count', ascending = False)

return analyzed_text

STEP 5

## 텍스트 데이터 정제하기 (문장부호 제거)

def clean_words(title):

return [w for w in tokenize_words(title) if w not in [".", ",", "?", "!", "-", "“", "”", "--", "’","‘" ,":", ";", "(", ")"]]

STEP 6

## 정제된 말뭉치 단어 갯수 세기

def all_unique_count (title):

words_unique = Counter(clean_words(title))

title_df = pd.DataFrame(words_unique.items()).rename(columns={0:'word', 1:'count'})

return title_df.sort_values(by='count', ascending = False)

결과 보기

셰익스피어 Sonnet 전체에서 "눈", "사랑" "너"라는 몇 번이나 쓰였을까?

놀랍게도 "너" (you)라는 단어는 한 번도 안쓰였는데

그 이유는 thy, thou, thee 의 형태로 쓰였기 때문.

가장 많이 쓰인 명사는 "사랑 (love)", "beauty (아름다움)", "time (시간)".