brunch

You can make anything
by writing

C.S.Lewis

by 무명 Jul 14. 2020

[사내정보방열기]  #11

elasticsearch, 데이터분석, AWS


파이썬으로 광고집행의 효과 검정하기 (코딩 모르는 ver. 추가!)

https://data101.oopy.io/e73d590b-20e4-4708-a8dc-bbcaee443bb6


파이썬으로 AB 테스트하기

https://data101.oopy.io/5478d5c2-ad59-493c-b570-e7b880e196fe


aws step functions 을 이용해 es에 머신러닝-자연어검색-추천 모델에 사용될 벡터 필드를 자동업데이트하는 로직 만들기 

https://aws.amazon.com/ko/step-functions/

https://aws.amazon.com/ko/blogs/machine-learning/building-a-visual-search-application-with-amazon-sagemaker-and-amazon-es/

https://aws.amazon.com/ko/blogs/korea/automated-and-continuous-deployment-of-amazon-sagemaker-models-with-aws-step-functions/


데이터분석

https://woowabros.github.io/woowabros/2020/07/01/how_data_analyst_works.html

https://woowabros.github.io/woowabros/2017/07/30/logdata.html



인터뷰, 상담

Motivational interviewing in brief consultations: role-play focussing on engaging

https://youtu.be/bTRRNWrwRCo

애자일 코칭 과정을 들은 이후로 이런 영상들을 종종 찾아봄

중간중간에 상대의 말, 상황, 감정을 요약정리해주며 reflection 하는것,

지금보다 조금씩 나아질 수 있도록 동기부여해주는게 인상적.


우선 확률분포 4가지(싸가지?) 만 알면 됩니다.

https://rsas.tistory.com/156


elasticsearch korea의 종민님이 공유해주신 따끈따끈한 글

http://kimjmin.net/2020/07/2020-07-aws-s3-to-elastic-cloud/?fbclid=IwAR0HHlKaCkzowcchFPN7ATOi8_5HScA6TzHINlSRKNgpBnPQhDrceE32ZmQ

최근 BERT모델을 이용한 검색시스템을 es로 많이 만들었음. 

몇몇 rdb데이터도 es로 옮기려고하는데 대시보드도 만들겸 s3에 저장된 로그들도 위 링크대로 해봐야겠음. 


https://statkclee.github.io/text/nlp-bag-of-words.html

최근 저장된 문서에서 키워드추출하여 프론트에 제공하는 로직도 만들었음..

stemming 과 lemmatization이라는 단어가 생각안나서 한참 찾아봄

어간추출, 음소표기법. 까먹지말자



불용어(Stopword)는 일반적으로 코퍼스에서 자주 나타나는 단어로 실제 학습이나 예측 프로세스에 실제로 기여하지 않는 것으로 나타난다.          예를 들어, 한국어 불용어로 조사, 접미사 - 나, 너, 은, 는, 이, 가, 하다, 합니다 등이 있다.      


어간추출(Stemming)는 단어를 축약형으로 바꿔준다.          예를 들어, 새로운 (like new), 새로울 (will be new) → 새롭다 (new), 먹었다 (ate), 먹을 (will eat), 먹을지도 모르는(may be eating) → 먹다 (eat)      


음소표기법(Lemmatization)은 품사정보가 보존된 형태의 기본형으로 변환하는 것이다.          예를 들어, 1) 배가 맛있다. 2) 배를 타는 것이 재미있다. 3) 평소보다 두 배로 많이 먹어서 배가 아프다.      영어에서 meet는 meeting으로 쓰였을 때 회의를 뜻하지만 meet 일 때는 만나다는 뜻을 갖는데 그 단어가 명사로 쓰였는지 동사로 쓰였는지에 따라 적합한 의미를 갖도록 추출하는 것      



인공지능 기반 신생 건설테크 해외 스타트업 소개

https://sites.google.com/site/bimprinciple/in-the-news/ingongjineunggibangeonseoltekeuseutateueobsogae?fbclid=IwAR0YdpA2Tm4CjY675FYSzWqsucm6Y2z2OL0QIpqnp87T2V1YJ9hr_dVVh80


매거진의 이전글 [사내정보방열기]  #10
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari