논문 수정을 Chat GPT와 함께 할 수 있을까?
최근에는 Chat GPT를 활용해 코드를 작성하는 방법에 대해 알아본 바 있다.
https://brunch.co.kr/@570a9717e56f400/39
이를 통해 다양한 연구를 진행하다 보면, 의미 있는 결과가 도출되기도 하고, 그 결과를 학술 논문(Article) 형태로 발표하게 되는 경우도 생긴다.
논문을 저널에 투고하면, 통상 세 명으로 구성된 심사자(Peer reviewer)의 심사를 거치게 된다. 단번에 논문이 Accept(게재 승인)되면 얼마나 좋겠냐마는, 실제로 투고해 보면 대개 Major 또는 Minor Revision 요청을 받곤 한다. 이는 아직 논문 작성의 내공이 부족하거나, 연구 결과에 대한 보완이 필요하다는 뜻이기도 하다. 학위 과정 중에는 지도교수님의 지도를 받아 논문을 수정할 수 있지만, 졸업 후에는 독자적으로 연구 주제를 기획하고 수행하며, 그 결과를 논문으로 작성해야 한다. 박사학위를 취득했다는 것은 곧 ‘학자로서 독립적인 연구를 수행하고, 그 성과를 논리적으로 정리하여 발표할 수 있는 역량을 인정받았다’는 의미이기도 하다. 예를 들어, Major Revision을 요청받게 되면 약 10일 정도의 수정 기간이 주어진다. 특별한 사유를 제시해 편집자(Editor)에게 추가 시간을 요청할 수는 있지만, 관례적으로 마감기한(Deadline)을 넘기지 않는 것이 심사자와 편집자에 대한 예의이며, 연구자로서 노력을 보여주는 한 방법이라 할 수 있다.
지난해 추석 연휴 전에 투고했던 논문에서는 12건의 수정 요구사항이 있었는데, 올해 설 연휴에 접어들면서 투고한 논문은 무려 47건의 수정 요청이 돌아왔다. 세 명의 심사자가 낸 의견 중 일부가 중복된 것이라 해도, 주중에는 직장 업무로 바쁜 ‘주경야독’ 연구자에게 47건의 수정사항은 꽤나 혹독한 부담이었다. 이때 자연스럽게 ‘꼼수’를 생각하게 된다. 매달 20달러를 내고 이용 중인 ‘Chat GPT 개인 비서’를 논문 수정 과정에 적극 활용할 수 있지 않을까 하는 것이다. 우선 작성한 논문(Manuscript)을 PDF로 변환해 Chat GPT에 첨부하고, 심사자 1의 수정 의견(Reviewer 1)을 입력한 뒤 수정 방향과 수정안을 제안해 달라고 요청해 보았다. 그러자 Chat GPT는 필요한 수정 사항을 요약(Bullet 형식)해 주고, 구체적인 예시까지 제시해 주었다.
Mitigating Synthetic vs. Real-World Data Mismatches
Reviewer Comment:
"There is no explanation of how the authors plan to mitigate or evaluate those potential mismatches between synthetic and real-world data."
Revision Needed:
Discuss how you validated synthetic data against real data.
Include a quantitative measure (e.g., Pearson correlation, KS-test, probability density function comparisons) to show that synthetic data preserves real data characteristics.
Mention any strategies used to avoid overfitting due to synthetic data.
Suggested Revision (Example)
"To ensure that synthetic data closely aligns with real-world data, Pearson correlation coefficients were calculated between real and augmented data, with results exceeding [value], indicating strong similarity. Furthermore, probability density distributions were analyzed to verify that augmented data followed the same statistical properties as the original dataset (Figure X). Overfitting risks were mitigated by applying cross-validation and regularization techniques within the boosting models."
Chat GPT는 언어 기반 모델(Language-based model)이기에, 충분한 배경지식을 입력해 주면 방대한 정보를 바탕으로 최적의 답변을 도출해준다. 약 20 페이지에 해당하는 작성된 논문 초안은 Chat GPT가 답안을 작성하는데 충분한 분량의 기초 자료가 되었다고 생각된다.
다만, Chat GPT가 특정 분야의 전문 지식까지 완벽하게 이해하고 있는 것은 아니므로, 제안된 답변을 무분별하게 그대로 차용했다가는 잘못된 내용을 포함할 위험이 있다. 예컨대, 기업에서 전산유체해석(CFD, Computational Fluid Dynamics) 시뮬레이션을 통해 공학적 문제를 해결하는 사례가 많다. 이는 실제 설비 도입이나 개선 과정에 큰 비용과 시간이 들기 때문에, 미리 유체의 흐름이나 반응 등을 예측하기 위해 진행하는 것이다. 하지만 유체역학에 대한 도메인 지식(Domain Knowledge)이 부족한 상태에서 시뮬레이션만을 의존하면, 시뮬레이션 결과를 신뢰하기 어려워진다. Chat GPT 역시 마찬가지다. 아무리 탁월한 도구라도, 결과물의 타당성을 확인할 수 없다면 유용함은 금세 위험한 도구로 바뀔 수밖에 없다.
흔히 기술 발전은 지수적(Exponential)으로 진행된다고 한다. 특히 ‘Attention is All You Need’(Transformer 알고리즘) 이후, 우리의 삶은 이전과 전혀 다른 양상으로 전개되고 있다. 이런 상황에서 새롭게 개발되어 출시되는 강력한 도구들을 효과적으로 활용할 수 있느냐 없느냐가 곧 경쟁력의 핵심이 되는 시대다.
그럼에도 불구하고, 도구 사용법과 같은 기술적인 부분보다 더 본질적인 가치는 ‘문제를 포착하고 이를 해결하려는 의지’, 그리고 ‘발견한 문제를 구조화하고 분석하는 연구자의 역량(지혜)’에 달려 있다고 생각한다. 결국 도구가 아무리 발전해도, 이를 통해 진정한 의미를 찾고 올바르게 활용할 수 있는 ‘사람의 능력’이 최종적으로 더욱 중요하다는 사실은 변하지 않는다.
