elasticsearch, 데이터분석, AWS
파이썬으로 광고집행의 효과 검정하기 (코딩 모르는 ver. 추가!)
https://data101.oopy.io/e73d590b-20e4-4708-a8dc-bbcaee443bb6
파이썬으로 AB 테스트하기
https://data101.oopy.io/5478d5c2-ad59-493c-b570-e7b880e196fe
aws step functions 을 이용해 es에 머신러닝-자연어검색-추천 모델에 사용될 벡터 필드를 자동업데이트하는 로직 만들기
https://aws.amazon.com/ko/step-functions/
데이터분석
https://woowabros.github.io/woowabros/2020/07/01/how_data_analyst_works.html
https://woowabros.github.io/woowabros/2017/07/30/logdata.html
인터뷰, 상담
애자일 코칭 과정을 들은 이후로 이런 영상들을 종종 찾아봄
중간중간에 상대의 말, 상황, 감정을 요약정리해주며 reflection 하는것,
지금보다 조금씩 나아질 수 있도록 동기부여해주는게 인상적.
elasticsearch korea의 종민님이 공유해주신 따끈따끈한 글
최근 BERT모델을 이용한 검색시스템을 es로 많이 만들었음.
몇몇 rdb데이터도 es로 옮기려고하는데 대시보드도 만들겸 s3에 저장된 로그들도 위 링크대로 해봐야겠음.
https://statkclee.github.io/text/nlp-bag-of-words.html
최근 저장된 문서에서 키워드추출하여 프론트에 제공하는 로직도 만들었음..
stemming 과 lemmatization이라는 단어가 생각안나서 한참 찾아봄
어간추출, 음소표기법. 까먹지말자
불용어(Stopword)는 일반적으로 코퍼스에서 자주 나타나는 단어로 실제 학습이나 예측 프로세스에 실제로 기여하지 않는 것으로 나타난다. 예를 들어, 한국어 불용어로 조사, 접미사 - 나, 너, 은, 는, 이, 가, 하다, 합니다 등이 있다.
어간추출(Stemming)는 단어를 축약형으로 바꿔준다. 예를 들어, 새로운 (like new), 새로울 (will be new) → 새롭다 (new), 먹었다 (ate), 먹을 (will eat), 먹을지도 모르는(may be eating) → 먹다 (eat)
음소표기법(Lemmatization)은 품사정보가 보존된 형태의 기본형으로 변환하는 것이다. 예를 들어, 1) 배가 맛있다. 2) 배를 타는 것이 재미있다. 3) 평소보다 두 배로 많이 먹어서 배가 아프다. 영어에서 meet는 meeting으로 쓰였을 때 회의를 뜻하지만 meet 일 때는 만나다는 뜻을 갖는데 그 단어가 명사로 쓰였는지 동사로 쓰였는지에 따라 적합한 의미를 갖도록 추출하는 것