2024 People Analytics 컨퍼런스 후기
[Weekly OD Insights] 컨퍼런스 리뷰
원티드와 PARI에서 주최한 People Analytics 컨퍼런스에 참여했다. 데이터 분석 기반의 의사결정이 점점 중요해지는 요즘 다른 조직의 HR에서는 어떻게 활용하고 있을지, 궁금했기 때문이다. 간략히 정리한 내용을 공유하고자 하는데, 다만 편집 과정에서 실제 강연과의 차이가 있을 수 있음을 밝힌다.
참고로, 오랜만에 책 <스타트업 HR 팀장들>을 만날 수 있어 반가웠다. 중간 중간에 책을 구매해서 들고 있는 분들을 만날 수 있었는데, 부디 의미있는 독서가 되었길!
People Data의 재해석
(SK 배수정)
PA의 역할이란, 조직의 데이터를 분석해서 의미 있는 인사이트를 뽑아내는 것이다. 하지만, 현실은 비 구조화되어 있기 때문에 의미 없는 데이터를 제거하고, 의미 있는 데이터를 잘 추려내는 것이 중요하다. PA 담당자는 늘 부분과 전체를 고민하고, 해석의 여지를 열어 두어야 한다. PA 프로세스는 프레임워크 – 데이터 수집 – 분석 – 해석 – 캘리브레이션으로 구성되는데, 그 중에서 오늘은 캘리브레이션과 프레임워크를 다룰 예정이다.
캘리브레이션
- 캘리브레이션은 왜 필요한가? 진단 시 다양한 변별력 이슈가 존재하기 때문이다. 무차별 응답이나 극단적 응답, 혹은 질문 자체가 너무 닫혀 있거나, 조직별 응답자 차이 등 다양한 이슈가 있다. 예를 들어, 평가 경향성 역시 개인, 문항, 계측, 조직 단위로 각각 달라진다. 우리는 현실을 그대로 봐야 하지만, 이러한 평가 경향성으로 인해 현실을 제대로 반영하지 못한다. 상반된 해석을 바로잡기 위해 캘리브레이션이 필요하다.
- 캘리브레이션은 만족도, 취향, 선호 등이 아닌 ‘평가’라는 관점이 필요하고, 그 분석 결과에 중요한 영향을 미칠 때 꼭 필요하다. 예를 들어, 고과 세션에서 기준을 논의하거나, 시험 점수를 과목별 평균, 분산에 따라 조정하는 것을 의미한다.
- 오늘 소개할 캘리브레이션 방법론은 ‘다국면라쉬모형’이다. 점수에 영향을 미치는 여러 국면을 분리하는 것을 의미하며, 특히 대상자의 수준, 문항 난이도, 평가자 엄격성을 반영한다. 그중에서 특히, 평가자 엄격성이 서로 다르다. 리더별로 역치 차이가 있고, 점수를 매기는 습관도 다르다. (“나는 절대 5점은 주지 않아”) 이 진단에서 캘리브레이션이 반드시 필요한지, 검토할 필요가 있다. 진단에서 기대하는 것이 무엇이고, 이후 어디에 주로 활용될 것인가에 따라서 달라진다. 특히, 육성이 아닌 선발을 목적으로 할 경우 꼭 필요하다.
- 하지만, 캘리브레이션이 유일한 참은 아니다. 결국, 모든 것은 취사선택이기에, 팔로업에 대한 노하우가 필요하다. 예를 들어, 누군가에겐 원 점수와 보정된 점수를 모두 제공하고, 누군가에겐 최종 결과만 보여주는 등을 고려하여 데이터를 노출해야 한다. 의사결정권자가 누구인지, 데이터 전문성이 어느 정도인지를 종합적으로 고려해야 한다. 예를 들어, 대상자에겐 최종 합의된 결과 점수를 공유해야 하지만, 평가자에겐 캘리브레이션 지수 중 일부를 제공하는 것이 좋다. 특히 “당신의 엄격성 지수는 어느 정도이니, 다음에는 이것을 참고해서 고민해 주세요”라는 피드백 제공이 가능하다. 결국, 누군가에겐 많은 데이터를 통한 통합적 사고를 요구하고, 누군가에겐 단순한 데이터를 주고 빠른 실행과 개선을 요구해야 한다.
프레임워크
- 어려운 시기일수록 육성의 필요성이 증가하지만, 효과성 측정에 대한 압박도 동시에 커진다. 예를 들어, 학습을 통해 무엇이 달라졌는지? 학습이 잘된 조직과 아닌 조직의 차이는? 등 이를 극복하기 위해선 프레임워크를 잘 만들어야 한다. 예를 들어, 학습 효과성 모델은 통상적으로 아래와 같다.
학습 과정의 구조적 평가 (교육 목표 달성)
학습자의 인지 및 기술적 발전 (인지적 성장 여부)
학습 투자의 재무적 성과 (생산성 향상)
학습과 기업 전략의 연계 (전략적 목표 달성 기여도)
- 프레임워크를 위해서 첫 번째, 조직 비전과 얼라인해야 한다. 모두를 충족할 수는 없기 때문이다. 만약, 교육 운영만 전담한다면 액티비티를 중심으로 교육 과정을 잘 짜야한다. 반대로 업무로의 전이가 중요하다면, 아웃풋 이후의 아웃컴 측면을 세분화해서 나눠야 한다.
- 조작적 정의를 명확히 하고, 데이터를 일부 모아 보면서 판단하는 것이 좋다. 조직규모가 크고 복잡할수록, 데이터의 출처를 세심하게 살피는 노력이 필요하다. 그리고는 점진적으로 발전시켜야 하는데 한 번에 100% 원하는 결과물이 나오기 어렵기에, 최소한 파일럿을 실시하면서 시도해봐야 한다. 결국, 조직의 방향성에 맞게 현실적 프레임워크를 세우고 점진적으로 개선해 나가야 한다.
- 앞으로 PA는 조직과 데이터의 언어를 잘 아는 사람으로서, Interpreter가 되어야 한다. 조직 맥락을 파악하고, 데이터 수집 체계를 만들고, 분석 결과를 조직에 전달 가능한 언어로 정리해서 성과를 내는 역할을 맡게 될 것이다.
피플 애널리틱스의 진화
(MS Dawn Klinghoffer)
Q. RA는 비즈니스 성과에 어떤 영향을 미치는가? 왜 리더들이 주목해야 하는가?
A. 기업의 가장 큰 자산은 사람이다. 구성원들이 최상의 성과를 내도록 분석하고, 도와야 고객에게 가치를 만들 수 있다고 믿는다. 이런 생각 때문에 MS에서 피플 애널리틱스를 HR 비즈니스 인사이트라고 부른다.
Q. 최근에는 GPT를 비롯한 도구들이 출현하는데, 많은 문제를 해결하지만 한계도 있다. 어떤 영향을 미치고, 어떤 미래를 만들어갈까?
A. 자연어 처리 도구는 수천 개의 댓글과 설문조사 데이터를 쉽게 분석할 수 있게 한다. AI의 발전은 우리를 데이터로 대화할 수 있게 하고, 엄청난 부가가치를 만들 수 있을 것이다. 예를 들어, 이직률에 대해서 다뤄보면, 단순히 이직률이 아니라 왜 그러한 수준인지, 어떻게 해결할 수 있을지를 파악하기 위해선 다양한 정보를 파악하고 이야기를 구성해야 한다. 미래에는 조직의 문제를 빠른 시간에 해결할 수 있을 것이다.
Q. 많은 사람들이 AI를 효율성의 관점에서 바라보지만, 책임감에 대해선 종종 잊는 것 같다. 특히 의사결정 과정에서 신뢰성이나 타당성에 대한 우려도 있다. 어떻게 효율성은 높이면서, 윤리성을 지킬 수 있을까?
A. 좋은 질문이다. 우리가 하는 일에는 윤리 강령이 필수적이다. 데이터 프라이버시와 관련하여 모두 지켜야 할 가이드라인과 원칙을 세우는 것은 매우 중요하다. 단순히 삶을 편리하게 만드는 도구를 만드는 것이 아니고, 사람에 대한 논의를 하고 있기에, 책임감을 깊이 느껴야 한다.
Q. 지금은 수학이나 데이터 엔지니어링 지식이 없더라도, 누구나 적절한 프롬프팅으로 쉽게 분석할 수 있다. 사람들에게 어떤 조언이 있을까?
A. 방법론이나 분석 배경을 아는 것은 물론 중요하다. 데이터 인사이트를 만드는 방법에 대한 학습 자료도 많이 공유되어 있다. 하지만, 더 중요한 것은 청중을 이해하는 것이다. 그들의 경험과 관점을 고려하여 이야기를 잘 던지는 것이 중요하다.
Q. 피플 애널리틱스에서 왜 분석만큼이나 사람에 대한 관점이 중요한가?
A. 최초에 HR 비즈니스 인사이트 팀을 꾸릴 때, 데이터 분석 전문가를 고용할지, 데이터 분석을 가르칠 HR 담당자를 고용할지 고민했고, 둘 다 채용했다. 하나만 맞다고 생각하지 않았기 때문이다. 다른 조각으로 그림을 완성하듯, 다양한 기술과 경험이 모여야 한다.
Q. HR 담당자들을 위한 조언이 있다면?
A. 이 분야는 보상이나 채용에 비해서 새로운 분야다. 경험이 있는 사람들과 네트워킹을 하고, 강의를 듣고, 궁금한 것들을 물어보면서 배우는 것을 추천한다. R이나 파이선과 같은 분석적 방법론을 아는 것도 중요하다. 앞으로 AI가 우리를 도와준다고 해도, 우리가 달성하고자 하는 것을 명확히 안내할 필요가 있다.
Q. MS는 큰 회사이기 때문에 피플 애널리틱스 조직을 운영할 수 있는 게 아니냐는 질문을 받는다. 그렇지 않은 조직에 조언을 한다면?
A. 조직에서 큰 임팩트를 내기 위해 많은 인원이 필요한 것이 아니다. 기술이 크게 발전했기 때문에 적은 인원으로도 가능하다. 가능한 기술을 최대한 활용해 보는 방법을 찾아볼 필요가 있다.
Tech X People Analytics
(Toss 이찬우)
- “AI 비즈니스 도입 준비는 데이터 준비로 시작되어야 한다.” “AI 확장을 위해선 복잡하고 비효율적인 데이터 아키텍처 문제를 해결해야 한다.” 즉, 분석을 하기 전 양질의 데이터 확보가 중요하다. 쓰레기가 들어가면 쓰레기가 나오기 때문이다.
- PA 도입을 위한 전체 프로세스는 데이터 부재에서 정제된 데이터 보유, 그리고 정보 생성에서 고급 분석 수행 및 예측 모델 생성으로 이어진다. 이때, 조직 내 PA도입을 위해선 데이터 적합성, 기술적 전문성, 데이터 문화 마인드셋이 필요하다.
- 하나씩 다뤄보자면, 처음에는 데이터가 부재하다. 그래서 팀 초기에는 하나하나 엑셀로 다운로드하고, 데이터 인덱스를 구축해야 했다. 이후 구글 클라우드 플랫폼을 통해서, 데이터 웨어 하우스를 구축했다. 하나만 접속하면, 원하는 양질의 데이터를 얼마든지 조회할 수 있게 되었다. 이때까지 6개월 정도 소요되었는데, 태블로 연결은 5일 만에 진행되었다. 그때부터 구성원들은 시각화를 통해 이해도가 향상되고, 데이터 접근성이 좋아졌고, 인사적 인풋을 통해 실용성을 느끼게 되었다.
- 우리는 “사용자가 없으면, 기술도 없다”라고 생각한다. 즉, PA를 하나의 서비스로 바라본다. 예를 들어 토스는 완전 자율근무 제도를 하고 있는데, 자율과 책임의 문화와 동료들에 대한 높은 신뢰 기반으로 이뤄지고 있다. 그 과정에서 ‘근무 시간 대시보드’를 구현했는데, 몇몇 사실을 발견했다. 동일 그룹, 동일 직무임에도 근무 시간이 큰 차이가 있다는 것도 확인되었고, 누군가는 너무 야간이나 휴일에만 근무하기도 했다.
- 우리는 태블로 대시보드를 슬랙으로 발송하는 기능을 만들었고, 필요할 때 태블로로 들어가지 않고, 슬랙 이미지로 바로 논의 가능하게 되었다. 결국, 지속가능한 근무 습관 지원 및 조직 생산성 향상을 위한 모델링을 통해 이런 메시지도 나가도록 만들었다. 예를 들어 “지난 3개월 동안의 패턴을 본 결과, 향후 3개월간 이러이러한 모니터링이 필요해 보인다.”와 같은 넛지를 준다.
생성형 AI 언어모델을 활용한 HR 지원 체계 구축과 확장
(LS 어승수)
- Chat GPT가 모든 것을 해결할까? 아니다. 하지만, 많은 조직이 “우리도 그 AI로 뭐 좀 만들어봐”와 같은 모방적 압력을 받고 있다. (조직이 불확실성에 직면했을 때 성공적인 다른 조직의 행동을 따라 하는 경향을 의미함. 이는 복잡성에 대한 반응이자 최적의 해결책을 찾기 어려운 상황에서 문제를 해결하려는 방식) 하지만, 우리나라는 ‘알고는 있지만 잘 쓰지 않는’ 나라에 해당된다.
- LS 피플랩은 챗봇 프로젝트를 시도했는데, 시작하기 전 LLM이 갖고 있는 한계가 무엇인지, 정확히 이해하고자 했다. 먼저, GPT를 검색 엔진으로 사용해선 안 된다. 문법도 모르는, 다음 낱말 맞추기 기계일 뿐이다. 진위 여부를 가리지 않고, 우리 조직에 관심도 없다. 문제는, 그 말이 맞든 아니든 무슨 말이든 하기 때문에 더 조심해야 한다.
- 예를 들어, 상용 GPT에 LS 제도를 질문하면 다 틀린 답을 제시한다. 이를 보완하기 위해서 RAG(검색증강생성)를 활용해야 한다. 외부 지식과 내부 Database를 연결해, 사실 관계를 파악하게 해야 한다. 이때, 어려운 점은 규정이 포함하고 있는 최대한 많은 용어의 정의를 쉽게 풀어 작성하는 것이다. (HR에게 익숙하지만, 일반 구성원에게 익숙하지 않은 용어들. 한자어 등) 또 컴퓨터가 읽기 어려운 문서를 읽게 쉽게 만들기 위해 문서의 구조를 이해할 수 있도록 변환했다.
- 결론. HR 분석의 목적은 HR 관련한 의사결정자의 합리적 결정을 과학적 방법론을 활용해 지원하는 것이다. 그때 꼭 최고 의사결정권자뿐만 아니라, 의사결정을 준비하고 실행하는 단위 업무 수행자도 포함되어야 한다. HR 분석의 목적은 인사 현상에 대한 예측이 아닌, 이해관계자 설득이다. 예측은 완전한 불확실성을 확률적 불확실성으로 변환하는 과정이며, 설득은 예측을 포함한 분석 결과를 수용하도록 동의를 구하는 행위이다. 설득이 어려운 경우, 배경과 관점이 다르기 때문인데, 그런 점을 잘 고려해야 접근해야 한다.
PADO를 하다
(SK 김동환)
- 데이터 분석은 가치 중심 정의와 문제 중심 정의로 구분된다. 가치 중심 정의란, 데이터로부터 유의미한 가치를 찾아내는 것이다. 예를 들어 회사 관점에선 매출, 이윤 증가, 비용 최소화, 신규 매출 등이 있다. 문제 중심 정의는 데이터로 해결할 문제를 정의하고, 그 문제를 해결하여 목적을 달성하는 것이다.
- 리더십 서베이를 예로 들어, 최소 문제의식은 “우수한 팀장의 특징은 무엇이고, 계열사 간 차이가 있는가?”였다. 이를 해결하기 위해서 우수그룹과 취약그룹을 분석했다. 공통점으론 지식 공유, 자율성, 성장이 추려졌지만, 회사 별로 다른 점도 있었다. (소속감, 안전감, 목표 몰입, 에너지 등) 그런 데이터를 기반으로 이후 어떤 액션을 할지 고민했다.
- 탤런트 맵을 예를 들면, 문제의식은 “조직에서 필요한 구성원 역량을 체계적으로 채우고 싶다.”였다. 최초에 어떻게 측정할 것인지, 맵을 만들어보기로 해서 구성원 역량 수준을 측정하고, 조직에서 필요한 역량 수준 차이를 측정했다. 결국, 부족한 팀 역량을 파악할 수 있었고, 적절한 교육 배치로 이어질 수 있다. 이러한 변화는 끝이 없기 때문에 지속적인 측정과 개선이 필요하다.
데이터로 그리는 LG HR의 미래 방향
(LG 이경민)
- 전사적으로 교육을 진행하다 보면, 대단히 많은 데이터가 쌓인다. 이때 숫자 분석뿐만 아니라, 텍스트를 감성 분석을 적용하여, 다시 한번 숫자로 바꿔보자고 생각했다. 긍정적 문장을 많이 쓴 사람들이 실제 객관식 점수도 높게 쓴다는 것을 확인할 수 있었다. 또한 주관식 문항 텍스트 분석을 통해 어떤 감정을 느끼는지 파악하기도 했고, 동영상 댓글을 분석하여, 영상의 의도가 실제로 전달되는지 파악하기도 했다.
- LG 전자는 <LG Way Survey>라는, 1년마다 진행하는 전사 설문이 있다. 하지만, 리포트를 받는 리더들로부터 조직 문화와 조직 성과가 무슨 연관인지 모르겠다거나, 무엇을 해야 할지 모르겠다는 반응이 있었다. 그래서, 디테일한 설명과 조직별 특정에 따른 인사이트를 드리고자 했다.
- 예를 들어, 4가지 조직 문화 기준에서 가장 높은 영역 2~3개를 가지고 총 10개의 유형을 만들어서 표현했다, 단순히 수치로 표현하면 비교를 했기에 그걸 피하기 위해서 유형을 만들어서 추가하게 되었다. 진단 결과에 대한 코멘트 역시 AI 코멘트와 작년 탑 랭크 리더들의 코멘트를 함께 표기했다. 리포트를 전달하는 과정도 최대한 자동화하여 효율적으로 운영했다.
