AI 모임(4) - 경진대회 준비
안녕하세요 에반입니다. AI 모임의 경진대회 마지막 글입니다.
저번 글에서 이야기한 대로 (https://brunch.co.kr/@52ee4dc76d0544b/39) 이번에는 어떻게 경진대회를 준비했는지 이야기해보려고 합니다.
호기롭게 프롬프트 경진대회를 진행하겠다고 했지만, 막상 문제를 만들려고 하니 고민해야 하는 것들이 한두가지가 아니었습니다.
1. 컨셉 잡기
가장 먼저 어떤 관점에서 문제를 내야 하는지 결정해야 합니다.
AI를 사용하는 관점에서 '내가 원하는 대답을 도출'하는 스타일로 할지
AI를 제공하는 측면에서 '좋은 대답이 제공될 수 있도록'하는 스타일로 할지를 고민했습니다.
결론적으로 '내가 원하는 대답을 도출'할 수 있는 스타일로 결정했습니다.
=> AI를 잘 이해하고 사용할 줄 아는 게 가장 중요하다고 생각했습니다.
2. 문제 준비
저희가 브런치 개발자다 보니, 처음에는 브런치 글을 활용한 문제를 만들고자 했습니다.
명시된 주제나 내용을 담고 있는 글을 찾게 하는 방식으로 구상했죠.
그런데 글의 양이 많아짐에 따라 적절한 글을 찾는 데에 어려움이 많았습니다. 그래서 힌트를 주기 위해 키워드를 심었는데요. 그러다 보니 갑자기 반대로 너무 잘 찾기 시작해서 난이도 조절이 쉽지 않았습니다.
저희는 다 갈아엎고 처음부터 다시 고민했습니다. 글을 찾는 게 아니라, 글을 이해하고 원하는 정보를 추출하는 방식으로 컨셉을 수정하고 브런치 글이 아니라 저희가 직접 글(내용)을 만들기 시작했습니다.
그래서 저번 글에서 설명해 드린 문제가 탄생했습니다. (https://brunch.co.kr/@52ee4dc76d0544b/39)
3. 문제 난이도 설정과 검증
이제 정확히 컨셉은 정해졌으니, 문제를 만들면 됩니다. 그런데 또 몇 가지 고민이 들었습니다.
난이도는 어떻게 조절해야 할까요?
문제를 어떤 수준까지 만들 수 있을까요?
저희가 설명할 수 없는 문제가 있어도 될까요?
-> "왜 되는지 모르겠지만 AI가 정답을 잘 말해줘서 이렇게 문제를 냈습니다."라고 하면 사람들이 이해를 잘할 수 있을까요?
고민을 계속하면서 정한 기본 원칙이 있습니다.
수학 문제 정답지처럼 하나하나 상세히 설명해 줄 필요는 없지만(그럴 수도 없습니다 - 아직 AI를 만든 개발자들도 왜 그렇게 대답이 나왔는지에 대한 대답을 명확히 할 수 없습니다.) 최소한 AI가 무엇을 쉽게 하고, 어려워하는지를 바탕으로 '원하는 대답을 내기 위해서는 이런 식으로 프롬프트를 작성하면 답을 얻을 수 있습니다'를 전달할 수 있어야 한다고 의견을 모았습니다.
그리고 AI 특성상 다양한 프롬프트가 나올 수 있습니다. 그러면 문제를 어떻게 내야 할까요?
정답이 포함된 대답이 많이 있다는 가정으로, 대답을 가장 간단하게 할 수 있도록 문제를 내야 합니다.
이런 종합적인 내용을 바탕으로
문제를 복사/붙여넣기만 해도 정답을 도출할 수 있는 문제
프롬프트를 약간만 수정해도 정답이 나올 수 있는 문제(줄 바꿈으로도 해결될 수도 있는 문제)
예시를 제공하면 풀리는 문제
프롬프트 엔지니어링을 종합한 고난도 문제(알파벳 조합 문제)등을 준비했습니다.
저희 준비 위원회(?)는 매주 2회 이상 모여 계속 문제 검증했고, 총 7문제를 준비했습니다.
4. 대회 준비 / 진행
대회를 진행하는데 상품이 빠질 수 없는데요. 최대한 골고루 받을 수 있도록 대상 1개 특별상 3개로 구성했습니다.
대상은 문제를 제일 많이 맞춘 사람이고, 특별상에는 아래 3명이 받을 수 있도록 했습니다.
- 비 개발자 1등
- 신박한 프롬프트 작성자 1명
- 모든 문제를 시도한 참가자 1명
(+저희 경진대회에 관심을 두신 다른 팀에서도 참관하셨는데요. 마침, 선물을 가져오셔서 중간에 럭키드로우도 진행할 수 있었습니다.)
대회 당일 스프레드시트(엑셀)와 PPT를 준비해서 경진대회 시간에 맞춰 링크를 공유하는 형식으로 진행했습니다. 대회는 1시간 진행되었고 대회가 끝나고 각자의 스프레드시트를 공유해서 저희가 하나하나 검수했습니다. 문제가 생각보다 어려웠다는 평이 조금 있긴 했지만 다들 재미있게(진지하게) 참여해 주셔 좋게 마무리되었습니다.
마무리
네 지금까지 4개의 글을 걸쳐서 저희 모임과 경진대회에 대해서 설명드렸는데요. 기회가 된다면
다른 내용들로 다시 돌아오겠습니다. 감사합니다.
