gimmesilver

통계적 가설 검정 제대로 이해하기

gimmesilver — Fri, 23 May 2025 10:41:19 GMT

데이터 분석을 하는 사람이라면 통계적 가설 검정(또는 귀무 가설 검정법)에 대해 한 번쯤 접해봤을 것이다. 하지만 통계학 전공자조차 이를 잘못 해석하거나 사용하는 경우가 적지 않다. 이들의 실수는 대체로 계산 과정에서 발생하기보다는 귀무 가설을 설정하거나 결과를 해석하는 논리 과정에서 비롯된다. 사실 계산 자체는 절차만 익히면 어렵지 않고, 최근에는 대부분

왜 표준편차를 구할 때 제곱을 사용하는가

gimmesilver — Sun, 11 May 2025 07:04:53 GMT

표준편차는 데이터가 평균에서 얼마나 흩어져 있는지를 정량적으로 구한 값입니다. 표준편차를 계산하기 위해 각 데이터와 평균 사이의 거리를 구할 때 평균보다 작은 경우 음수값이 발생하지 않도록 평균과의 차이값에 제곱을 취합니다. 그런데 사실 음수를 양수로 바꿔주기 위해선 제곱이 아니라 절대값을 사용해도 충분합니다. 절대값을 사용하면 굳이 마지막에 제곱근을 하지

우주 팽창과 시간 흐름 간의 관계에 대한 단상

gimmesilver — Fri, 09 May 2025 11:00:04 GMT

순환하는 세계 1차원 세상에 살고 있는 개미를 생각해 보자. 개미의 입장에서 세계는 앞뒤로 아주 길게 뻗어있는 선으로만 이뤄져 있다. 만약 개미가 호기심이 강하다면 세계의 끝이 어디인지 확인하기 위해 계속해서 탐험하려 할 것이다. 어쩌면 자신이 현재 사는 곳이 세상의 중심부 쯤에 있어서 세계의 끝에 도달하려면 아주 먼 여행을 해야할 것이라 생각할지도 모른다

통계 모델링과 기계 학습 모델링의 차이에 대한 단상

gimmesilver — Fri, 30 Sep 2022 12:32:58 GMT

페이스북에서 통계 모델링과 기계 학습의 차이에 대한 어떤 글을 읽고 이와 관련해서 쓴 글입니다. 종종 통계 모델과 기계 학습 모델의 가장 큰 차이는 모델에 대한 해석과 이해가 가능한지 여부에 있다는 글이나 주장을 보곤 합니다. 아마 대표적인 통계 모델링 방법인 선형 회귀와 역시 대표적인 기계 학습 기법인 딥 러닝을 직관적으로 비교했을 때 가장 눈에 띄는 차

게임의 사회학

gimmesilver — Thu, 22 Sep 2022 12:45:10 GMT

책을 하나 썼습니다. 사회학 전공자도 아닌 주제에 이런 제목을 뻔뻔하게 사용한 것이 부끄럽지만, 사회학을 얕보는 의도가 아니라 반대로 사회학에 대해 제가 평소 갖고 있던 일종의 로망이나 오마주로 이해해 주시면 좋겠습니다. 저는 언젠가 게임 데이터를 이용한 분석 기술이나 그 결과가 현실 세계의 경제/사회 정책을 수립하는데 기여하는 날이 올 것이라고 믿습니다

다중공선성은 생각하지 마라

gimmesilver — Sat, 25 Jun 2022 09:05:10 GMT

선형 회귀 관련 교재나 설명 자료를 보면 꼭 빠지지 않고 나오는 주제 중 하나가 다중공선성입니다. 다중공선성이란 회귀 모델의 독립변수들이 서로 강한 상관 관계를 갖고 있는 상태를 말합니다. 보통 이런 자료를 보면 선형 회귀 모델은 독립변수들이 서로 독립이어야 한다는 가정이 있는데 이 가정을 위배하기 때문에 문제가 된다고 설명하죠. 그런데 다중공선성이 있는

예측 모델을 이용한 서비스 개발 시 알아야할 것들 #4 - 모델링

gimmesilver — Sat, 18 Jun 2022 08:50:04 GMT

4. 모델링 4-1) 예측 모델이 갖고 있는 기본 가정 이해하기 많은 분석가들이 모델링 단계에서 잘못된 방법을 사용합니다. 모델링의 목적은 데이터에서 잡음을 최대한 제거하여 정보를 단순화 시키는 것입니다. 이런 측면에서 볼 때 모델링은 일종의 데이터에 대한 손실 압축입니다. 불필요한 노이즈는 최대한 제거하고 중요한 정보만 잘 요약하는 것이 모델링의 목적이기

예측 모델을 이용한 서비스 개발 시 알아야할 것들 #3 - 라벨링

gimmesilver — Thu, 01 Apr 2021 00:38:14 GMT

3. 라벨링 내가 예측하려는 대상의 라벨 정보를 충분히 많이, 지속적으로, 그리고 적은 비용으로 구할 수 있는지 검토해야 합니다. 실전 서비스를 개발해 보신 분들은 충분히 공감하시겠지만 대개의 경우 적절한 라벨 정보를 충분히 확보하기가 어렵습니다. 1) 라벨 정보를 어떻게 확보할 수 있는지, 2) 라벨 정보를 충분히 신뢰할 수 있는지, 3) 서비스 운영 단

예측 모델을 이용한 서비스 개발 시 알아야할 것들 #2 - 데이터 조사 및 탐사 분석

gimmesilver — Thu, 18 Mar 2021 10:04:57 GMT

2. 데이터 조사 및 탐사 분석 예측 대상과 목표가 정해지면 이제 목표를 달성하는데 필요한 데이터가 충분한지 조사해야 합니다. 이 때 충분하냐의 의미는 단순히 데이터의 양을 의미하는 것이 아닙니다. 데이터에 포함된 정보의 질이 중요합니다. 가령, 내일의 주가를 예측하기 위해 내가 사용할 수 있는 데이터가 과거 주가 정보 밖에 없다면 이게 1년치가 되었든 1

예측 모델을 이용한 서비스 개발 시 알아야할 것들 #1 - 예측 대상과 목표 정의하기

gimmesilver — Sun, 14 Mar 2021 14:25:50 GMT

0. 시작하며 그 동안 기계 학습이나 통계 모델을 이용한 업무를 하면서 느낀 점들을 정리해 보았습니다. 제가 얻은 교훈은 주로 성공보다는 실패를 통해서였습니다. 때문에 이 글에서 얘기하는 주장이 반드시 정답이라고 생각하지마는 않습니다. 다만 앞으로 비슷한 업무를 할 때 시행착오를 줄이는데 참고 자료는 될 수 있으리라 생각합니다. 가독성을 위해 단정적인 표현

왜 Step-wise 변수 선택법을 사용하면 안되는가

gimmesilver — Sat, 13 Feb 2021 08:50:45 GMT

Stepwise 변수 선택법은 여러 개의 후보 변수들이 있을 때, 다양한 변수 조합에 대해 통계 검정치를 비교하여 최적의 회귀 모델을 찾는 방법입니다. 원리가 단순하며 대부분의 통계 라이브러리나 패키지에서 해당 기능을 제공하고 있고 사용방법 또한 쉬워서 오랜전부터 널리 사용되고 있지만, 많은 통계학자로부터 사용하면 안된다는 비판을 받고 있기도 합니다. 아

회귀 분석의 이해 #4 - 회귀 분석 결과 해석하기

gimmesilver — Thu, 31 Dec 2020 04:37:52 GMT

(1편 보기) (2편 보기) (3편 보기) 지금까지 회귀 분석과 관련된 기본적인 이론을 알아봤으니 이제는 간단한 예제 데이터를 이용해 회귀 분석을 어떻게 하는지 예를 들어 보겠습니다. 회귀 분석은 크게 보면 아래와 같이 세 가지 작업으로 나눌 수 있습니다. 1. 모델 적합도 분석: 설계한 회귀 모형이 실제 데이터에 잘 적합하는지 확인 2. 변수 영향력

도메인 지식이 결여된 인과 추정이 위험한 이유

gimmesilver — Sun, 28 Jun 2020 06:51:34 GMT

시작하며 간혹 '데이터 분석가에게 도메인 지식이 필요한가?' 에 대한 질문을 받거나 관련된 논의글을 보곤 합니다. 전 도메인 지식이 필요할 뿐만 아니라 도메인 지식이 없는 상태에서 데이터 분석을 하는 것은 위험하다는 입장입니다. 특히, 분석의 목적이 인과 추론인 경우에는 더욱 그렇습니다. 이번 글에서는 가상의 사례를 통해 그 이유를 설명할까 합니다. 다음

PK를 당한 유저는 게임에서 이탈할까? - 인과 추론 분석 케이스 스터디

gimmesilver — Thu, 18 Jun 2020 05:45:12 GMT

0. 시작하며 'PK (Player Killing)' 는 말 그대로 온라인 게임 (특히, MMORPG) 에서 다른 캐릭터를 공격하여 죽이는 행위를 의미합니다 (PK에 대한 좀 더 자세한 내용이 궁금하신 분은 https://namu.wiki/w/PK 를 참고하시기 바랍니다). 그동안 'PK'와 관련해서 다양한 찬반 논란이 있어왔습니다. 'Killing' 이란

회귀 분석의 이해 #3 - 최소제곱법

gimmesilver — Fri, 10 Apr 2020 12:16:16 GMT

(1편 보기) (2편 보기) 본편에 들어가기에 앞서 지금까지의 내용을 정리해 보겠습니다. 아파트 가격, 직장인 연봉, 대학민국 성인 남녀의 키 등과 같이 어떤 집단에 대한 수치 정보가 있을 때 우리는 보통 전체를 대표하는 값으로 평균을 이용합니다. 그런데 1편에서 예시로 들었던 아파트 가격 사례에서 알 수 있듯이 그냥 전체에 대한 평균을 구할 경우 각

회귀 분석의 이해 #2 - 회귀 분석에서 고려해야할 기본 가정

gimmesilver — Sat, 28 Mar 2020 08:18:52 GMT

(1편 보기) 앞서 소개했듯이 회귀 분석은 '조건부 평균'을 구하는 것입니다. 때문에 우리가 평균을 구할 때 주의해야 할 점들이 회귀 분석에서도 동일하게 적용됩니다. 그럼 어떤 주의점이 있는지 예시를 통해 살펴 보죠. 아래 두 데이터 중 평균을 대푯값으로 사용하기 부적절한 것은 무엇일까요? 1) 우리 나라 성인 남성의 키 2) 우리 나라 전체 근로자 연

회귀 분석의 이해 #1 - 회귀 분석은 조건부 평균을 구하는 기법이다

gimmesilver — Mon, 23 Mar 2020 02:18:12 GMT

몇 년전 회사에서 강의했던 내용을 글로 정리한 자료입니다. 비전공자들에게 어떻게 하면 회귀 분석을 쉽게 설명할 수 있을까에 초점을 맞춰 만든 자료이다보니 이론적인 엄밀성이 다소 떨어질 수 있습니다만, 틀린 내용은 없도록 최선을 다했습니다. '회귀 분석'이 무엇인가에 대해 인터넷을 검색했을 때 가장 먼저 등장하는 위키백과(https://ko.wikipedia

라프 코스터의 '재미이론'

gimmesilver — Wed, 08 Jan 2020 11:42:33 GMT

게임은 선생님이다. 재미는 그저 학습의 다른 표현일 뿐이다. 게임 개발(특히, 기획)쪽 업무 종사자들 사이에서는 이미 너무나 유명한 책입니다. 저는 그 동안 소문만 듣고 읽어 보지 않다가 최근에 게임 디자인 쪽 업무에 대해 알아야 할 일이 생기면서 읽게 되었습니다. 그리 글자수가 많지 않고 매 페이지마다 재미있는 삽화가 들어가 있어서, 얼핏보면 아이들이

2019년 회고

gimmesilver — Wed, 01 Jan 2020 01:52:07 GMT

2019년는 브런치 글쓰기에 많이 소홀한 한해였는데 회고까지 그냥 넘기면 안될 것 같아 회고를 작성해 봤습니다. 1. 올해의 책 올해 2월 '엔씨북스' 모임이 종료되면서 다시 책읽기에 다소 소홀해지긴 했지만 그래도 좋은 책을 몇 권 읽을 수 있었습니다. 그 중 가장 인상적이었던 책이 두 권 있었는데 '팩트풀니스'와 '도덕의 궤적' 입니다. 요즘 정치/사회

실전 이탈 예측 모델링을 위한 세 가지 고려 사항 #2

gimmesilver — Wed, 06 Feb 2019 12:10:52 GMT

실전 이탈 예측 모델링을 위한 세 가지 고려 사항 #1 2. Concept drift 는 모델링 전반에 걸쳐 고려해야할 문제이다. 실전에서 예측 모델을 서비스에 적용해 본 분이라면 예측 모델이 처음에는 잘 맞다가 시간이 지날수록 점점 정확도가 떨어지면서 결국 유명무실해진 경험을 해본 적이 있을 것입니다. 이것을 'concept drift 문제' 라고 부릅