해커톤 평가의 비효율성, 왜 AI로 해결해야 했을까?
AI 기반 해커톤 평가 플랫폼 스냅코드 PM 회고록
대학생활 2년 동안 총 12회의 해커톤에 참여하며 단기간의 협업 경험을 통한 타 직군과 소통법, 피그마 파일이 서비스로 살아 움직이는 순간까지, 많은 것을 내게 남겨주었지만 늘 아쉬운 점이 한 가지 있었다.
바로 평가와 수상
해커톤에서 수상을 하게 되면, 당연히 기분이 좋고 뿌듯했지만 그 이상으로는 나아가지 않는 느낌이 들었다. 수상을 하지 못했을 때는 뭐가 부족했었는지, 수상을 하지 못한 결정적인 사유는 무엇일지 물음표만 남은 순간들이 많았었다.
해커톤은 주최하는 곳마다 분위기와 성격이 많이 다르지만, 내가 참여한 해커톤은 대부분 대학생들을 대상으로 스펙, 포트폴리오, 수상 경험을 하기 위해 참여하는 학생들이 대부분인 해커톤이었다.
그래서인지 매번 해커톤마다 수상에 실패한 학생들의 원성, 평가에 대한 의문은 따라올 수밖에 없었다. 나 또한 그랬다. 내가 참여한 해커톤 중 가장 규모가 컸던 멋쟁이사자처럼 대학 12기 중앙 해커톤은 밤을 새우고 수상하지 못한 채 집에 갈 때는 나에 대한 실망감, 팀원들에 대한 미안한 감정 등 집에 오는 길이 참 길었던 기억으로 남아있다.
이러한 경험을 토대로, 평가를 투명하고 모두가 납득할 수 있도록 그리고 수상하지 못한 학생들을 위한 피드백까지 줄 수 있는 서비스가 있었으면 좋겠다는 생각을 하게 되었다.
처음엔 AI와 함께라면 할 수 있지 않을까? 하는 막연한 생각이었지만 이를 실현시키려면 구체적인 방안과 전략을 세워야했다. 특히 AI를 사용하여서 프로덕트를 만드려면 돈이 들기 때문에 왜 꼭 이를 AI로 해결해야 하는지에 대한 답을 찾아나갔다.
우선 AI는 "속도" 측면에서 압도적이다.
멋쟁이사자처럼 대학 중앙 운영단과 구름톤 유니브 중앙 운영단으로 활동하며 최소 100명 이상이 참가하는 대학생 대상의 무박, 단기 해커톤의 경우, 현장에서 심사위원들이 프로덕트를 평가할 수 있는 시간은 1~2시간이기에 모든 프로덕트를 꼼꼼하게 보기가 현실적으로 어렵다는 점을 알게 되었다. 특히 발표자료는 가볍게 훑을 수 있어도 깃허브 속 코드까지 보는 것은 불가능하다.
그렇다면 심사위원을 많이 섭외하면 되지 않느냐? 한다면 이는 비용 측면에서 어렵다.
주말에 시간을 내서 프로덕트를 심사해 줄 현직자분들을 구하기도 어려울뿐더러 비용이 증가하기 때문에 운영 입장에서는 심사위원분들을 많이 모시기에 한계가 있다.
두 번째로, AI는 인간보다 훨씬 많은 데이터베이스를 참조할 수 있다는 점이었다.
나는 기획으로 많이 참가를 했다 보니 다른 팀들의 프로덕트를 보면서 '어 이거 해외에 이미 있는 거 아닌가?' 싶은 서비스들도 종종 보게 된다. 벤치마킹이 아닌, 해외에 있는 프로덕트를 고대로 가져왔는데 심사위원분 중에 이를 알고 계신 분이 없어 그 팀이 수상을 하게 된다면 타 팀 입장에서는 상당히 억울한 상황이다. (이 상황은 가정된 상황이고, 대부분의 해커톤의 평가 영역 중 '차별성'이 있기에 예시를 든 가설 중 하나이다.)
AI는 인간보다 훨씬 많은 정보를 참조할 수 있다. 기획의 아이디어, 차별성, 비즈니스 등의 영역에서 객관적인 평가는 AI가 그 누구보다도 잘할 수 있을 것이라고 생각했다.
따라서, 내가 느낀 문제점과 가설을 정리하면
① 현재 상태 (As-Is)
대학생 해커톤은 매번 수십 개 팀이 출전하지만, 평가 과정은 대부분 심사위원 주관에 의존한다. 평가 기준이 명확히 공개되지 않거나, 피드백이 부족한 경우가 많아 참가자들은 수상 결과에 납득하기 어렵다.
② 문제점 (Pain Point)
참가자 입장에서는
평가 결과에 대한 불투명성
심사위원별 기준 차이
피드백 부재로 인한 학습 불가능성
이 세 가지가 주요 불만으로 반복된다.
운영자 입장에서는
심사위원 간 평가 편차를 보정하거나, 정량 데이터를 축적하는 구조를 만들기 어렵다.
심사위원을 여유롭게 섭외하기에는 비용 문제가 발생한다.
③ 개선 방향 / 가설 (To-Be)
AI 기반의 평가 및 분석 시스템을 통해
투명한 기준 제시 (공개된 평가 프로세스)
정량/정성 피드백 자동 생성
이었고, 문제점을 해결할 수 있다면 참가자와 운영진 모두 신뢰할 수 있는 해커톤 생태계를 만들 수 있다.
어떻게 보면 굉장히 니치한 문제 해결이었지만, 이즈음에 내가 느낀 것은 "문제 해결의 체력"을 길러가야 한다는 것이었다. 경험해본 것이 터무니 없이 적은 22살의 내가 당장 인류의 문제를 해결하기는 어렵다. 그래서 작은 문제부터 해결해보면서 문제해결의 체급을 길러가자는 것이 당시 나의 생각이었다. (지금도 이 생각에는 변함이 없다.)
사건의 발단
문제정의와 가설을 완료했다면 이제 만들어볼 차례. 친한 개발자 오빠에게 톡을 하나 보냈다.
만약, 돈이 지원된다는 가정 하에 해커톤 평가 서비스를 만들 수 있으면 참여할 의향이 있는지 묻는 카톡을 오빠는 덥석 물어버렸다. (나중에 우리는 이를 월척 사건이라고 부르게 되었다..ㅋㅋ)
같은 동아리에 2년 동안 있었고 누구보다 해커톤 시스템을 잘 아는 사람이었기에 내가 생각하고 있던 평가의 문제점에 공감했고, '이게 될까?'에 대한 것을 연구해 보기 시작했다.
얼마 지나지 않아 그에게 온 답 '될 것 같다.'
나는 이를 듣자마자 제안서를 만들었다. 기술의 실현 가능성과 더불어 비용적인 부분도 함께 알아보았을 때, 우리끼리 모아서 하기에는 무리가 있었다. 따라서 앞에서 말했던 [돈이 지원된다는 가정 하에]를 진짜로 만들어야 했다.
우리는 지금 보면 정말 형편없는 프로토타입과 이 제안서를 들고 우리가 수료했던 동아리인 멋쟁이사자처럼 커뮤니티팀을 찾아갔다. 개발이 완성되지도 않은 상태였어서 오빠는 살짝 우려를 표했지만 커뮤니티팀 리드이신 지영 님께 그냥 카톡을 보내버렸다.
이렇게 뜬금없이 프로토타입을 만들어서 갈 수 있었던 것도 기존에 라포가 있기에 가능한 일이었던 것 같다.
커뮤니티팀과 몇 차례 회의 후에 우리는 멋쟁이사자처럼 CEO, CTO, CMO님과 미팅을 하게 되었다.
대표님을 제외하고는 다 처음 뵈었지만, 이 역시 멋쟁이사자처럼 대학 12기 우수활동자 출신이라는 배경(?)이 있었기 때문에 소통이 수월하게 진행되었고, 우리를 믿어주시는 느낌을 많이 받았었다.
본사와 소통하는 과정에서도 비즈니스 미팅 지식이라고 해야 할까.. 암튼 비즈니스를 하는데에 있어서 어떻게 준비해야 하고, 소통해야 하는지 많이 체득했다.
몇 차례 회의 후에 멋쟁이사자처럼 대학 13기 해커톤에 도입이 확정되었다. 이제 진짜 실전이다
사건의 과정
이제 진짜 해커톤에 도입될 프로덕트를 만들어야 했기 때문에 많은 개편이 필요했다.
기존에는 기획 + 디자인 + 소통 = 나 / 프론트 + 백엔드 + AI 개발 = 현진오빠가 담당했었는데 AI에 많은 시간을 투자하려면 프론트 팀원을 한 명 뽑는 게 좋겠다는 결론에 도달해서 멋쟁이사자처럼 대학 TF 활동을 같이 했던 태기오빠를 섭외했다.
그렇게 해서 완성된 팀원은 총 세명.
근데 한 가지 문제가 있다면 우리 팀에는 디자이너가 없었다.
디자이너를 따로 섭외하지 않은 이유에는 여러 가지가 있었지만 가장 큰 사유는 최근 프로토타이핑과 UXUI 디자인을 도와주는 AI 툴이 많이 나왔기 때문에 디자인도 AI와 함께 하면 충분히 가능하지 않을까?라는 나의 도전 의욕이었다.
팀원들도 이에 동감 + 나를 믿어주었고 결국 우리는 1500명이 쓰게 될 해커톤 평가 툴을 만들기 위한 고난의 과정을 시작하게 된다.
과연 나의 운명은..?
2편에서 계속됩니다!
