논문 평가기준, 내 연구 포지셔닝하기
독창적인가? 절차적으로 타당한가? 일반화 가능한가?
프로젝트나 제안서, 과제 등을 평가할 때 평가 기준이 중요한 것처럼 연구를 하고 논문을 작성함에도 마찬가지다. 청강으로 서봉원 교수님의 HCI 특강(어떤 식으로 HCI 페이퍼를 읽고 쓰는지를 다룸) 수업을 들었는데 그때 강조하신 3가지 평가기준, 그리고 그에 대한 나의 생각을 얘기해보려고 한다.
(해당 포스팅은 많은 부분 서봉원 교수님 강의 내용에 기반합니다.)
논문 평가 기준은 크게 3가지다.
1. Originality, 2. Validity, 3. Generalizability
대략적으로 얘기하자면 Originality란 얼마나 연구가 독창적인지(이른바 "깜찍한" 아이디어)를, Validity란 연구 디자인 및 방법의 절차적 타당성을, Generalizability는 연구의 일반화 가능성을 뜻한다.
내 연구의 Originality 강조하기
당연히 이런 기준들을 고려하여 연구를 설계 및 수행하고, 글을 작성해야 한다. 같은 연구를 해도 글을 어떻게 쓰느냐에 따라서 그 결과는 천지차이다 박사과정 중 뼈저리게 얻은 교훈 중 하나. 가령 Originality가 논문 평가의 가장 중요한 기준인 만큼 Abstract과 Introduction에도 내 연구의 의의와 contribution을 강조하는 것이 좋다. HCI 분야에서 contribution이라 하면 일반적으로 Theoratical, Methodological, Artifact/Model 정도로 요약되는 듯하다.
예를 들자면 나는 Bot in the Bunch라는 페이퍼 (링크, PDF)에서 서론의 마지막 부분에 다음과 같이 연구의 contribution을 제시했다. 첫 번째는 theeoratical contribution에 두 번째는 Artifact design & methodological contribution에 해당한다.
This paper makes the following contributions:
• We verified that a chatbot agent can be effective not just in dyadic but also in group interactions.
• We designed and developed a chatbot agent to improve discussion in group chat by enabling timely consensus, facilitating even participation, and organizing opinions.
비슷하게 동료의 논문인 I Lead, You Help But Only with Enough Details 페이퍼 (링크)에서는 다음과 같이 컨트리뷰션을 서론에 요약했다. 비슷하게 첫째는 Artifact design, 둘째는 methodological, 셋째는 implicational/theoractical contribution에 해당한다.
The main contributions of this work to the HCI community are as follows:
• We designed and created an interface based on neural network technology, thus pioneering the UX of AI-embedded interfaces.
• Through both quantitative and qualitative approaches, we closely observed the interaction between AI and users and discovered new aspects of this interaction.
• Finally, we discussed implications for interfaces with which users and AI closely communicate and cooperate for creative work.
물론 이런 식의 작성법이 정답은 아니고 페이퍼를 읽다 보면 각기 다양한 스타일이 존재한다. 다만 나는 이렇게 명시적으로 쓰는 걸 좋아하는 편이고, 논문을 읽을 때도 똭! 똭! 뚜렷하게 써진 글을 좋아하는 (읽기도 쉽고..) 편이다. 흠 생각해보니 논문 작성 스타일에도 사조가 존재하는 거 같군..
흔히 문헌연구라고 하는 Related Work 부분에서도 마찬가지. Originality가 중요한 만큼 관련된 연구들을 나열하는 것은 노노함. 기존 연구들 중 내 연구의 위치와 내 연구가 다른 애들과 어떻게 다른지 차별점을 설명해줘야 왜 이 연구가 필요한지 독자들이 수긍할 수 있다. Bot in the Bunch에서는 그룹 토론을 지원하는 시스템과 관련된 기존 연구들을 정리한 Systems for Supporting Group Discussions의 가장 마지막 부분에 다음과 같이 이전 연구들과 문제의식을 공유한다는 것을 서술하면서 우리 연구의 차별점을 강조했다.
In light of the findings from previous studies, we consider a new way of driving active participation among users and of decreasing their mental loads. We focused on improving discussions by involving the communication “process” and participation patterns. Furthermore, the chat interface used in MIM with its speech balloons requires an approach for improving discussions that is distinct from those that are used for emails, dashboards, and forums. Few researchers have explored the use of text-based virtual agents that can perform specific functions that are targeted to the MIM system. Our work aims to understand users’ needs when doing discussion in group chat and to design a chatbot agent.
내 연구 포지셔닝 하기
앞서 얘기한 Originality 외에 Validity와 Generalizability (플러스 Readability) 역시 당연히 기본적으로 확보되어야 하는 부분이다. Validity도 할 말이 많은데 다음 기회에.. 하지만 초보 연구자에게 이 모든 능력치, 일명 스탯(Stats)을 모두 갖추기란 쉽지 않다. 때문에 내 연구 성향을 파악하고 내 논문을 포지셔닝하는 게 현실적인 팁이라면 팁이 아닐까 싶다. 물론 제발 기본은 갖추어야..
모든 캐릭터가 스탯이 완벽하지 않듯 연구자도 아니 사람도 마찬가지 아닐까. 기본기를 갖추되 내 장점을 살리는 게 중요한 듯. 아무리 고오스가 뛰어나도 꼬부기나 뮤를 선택하는 거처럼위 기준들에 따라 연구자로서의 포지셔닝을 (무리하게) 나누어본다면 치밀형 대 아이디어형이 아닐까 싶다. 치밀형들이 쓴 글은 정말 논리 정연하고 글에 빈틈이 없다. 기존의 연구들을 완벽하게 분석했으며, 그 위에 새로운 블록을 얹고 이를 완벽하게 정당화한다. 방법론도 뭐 이런 거까지 신경 쓰나 싶을 정도로 빈틈이 없다.. 슬프게도 난 이런 유형과 거리가 있다.. 성격도 연구도.. 언제쯤 이런 완전무결함을 갖추게 될지는 모르겠으나 나의 이런 limitation을 뛰어넘기 위해 내가 선택한 전략은 "굵직하고 재밌는 주제를 고르는 것"이다. ㅇㅇ 나는 Originality에 방점을 두는 연구자다. 내가 수행한 연구들은 그래서 짧은 문장으로 요약할 수 있고 일반인들이 들어도 고개를 끄덕인다. "온라인 설문할 때 사람들이 대충대충 하잖아. 이런 웹 서베이의 문제를 (전문용어로는 satisficing) 해결하는 대화형 설문 시스템을 만들었어. 만들었더니 사람들이 더 성의 있게 대답 하드라"라든가, "그룹챗에서 토론 도와주는 챗봇 만들었어." (좀 더 자세하게는 "우리 그룹챗 많이 쓰고 여기서 의사결정도 많이 하는데 시간관리도 안되고 메시지도 정신없고 참여 안 하는 애들 안 하고.. 이런 거 해결해주는 챗봇 만들었어.") 이런 식으로 말이다.
이런 originality를 강조하는 성향은 validity 혹은 방법론에서도 나타난다. 나는 도식화를 잘한다. 그리고 되짚어 보면 새로운 측정 척도를 만드는 것을 즐기는 거 같다. Evaluation을 할 때 설문에 의존한 perceived attitude보다 observed behavior을 분석하는 것을 좋아하고 이게 더 객관적인 지표라고 믿는다.
나는 관련 연구들을 완벽하게 꿰고 있고 빈틈없는 스타일과는 거리가 멀지만 재밌는 주제를 잡고 새로운 방식으로 접근하는 걸 즐긴다. 연구를 하는 사람이라면 위에서 얘기한 스타일이 아니더라도 MBTI를 하듯 자신의 성향을 생각해봐야 하는 거 같다. 그리고 억지로 어떤 모습이 되기보다 타고난/지금껏 길러진 나의 성향의 장점을 최대화하는 부분으로 가는 게 맞지 않을까? 나의 장점을 어떻게 활용해서 어떤 연구자로 나를 포지셔닝할 것인가. 답은 없지만 연구를 업으로 삼았다면 고민해봐야 하는 문제다. 연구자로서의 정체성이 내가 어떤 결의 연구를 하고 어떤 지도교수를 만나고 어떤 동료들과 협업하고 어떤 연구자의 삶을 살아나갈 것인지에 큰 영향을 줄 테니.
리뷰와 관련된 좀 더 전문적인 내용은 다음 링크의 "How to Review HCI/Visualization Papers" 참조..
https://sites.umiacs.umd.edu/elm/2015/12/19/how-to-review-hcivisualization-papers/
