T-FR 리뷰 후기, 리뷰 질문 리스트 공유
생생 Transaction on Field Robotics 리뷰 후기
그리고 나도 현재 우리 분야의 대가인 교수님 아래에서 일하다 보니, T-FR 논문 리뷰를 할 기회가 있었다. 그런데 리뷰를 하며 깜짝 놀란 부분은, 리뷰 질문 리스트가 굉장히 상세히 세분화되어 있다는 것이다. 특히, 이 질문 리스트에는 좋은 답변을 받을 수 있을지 저자의 입장에서 다시 한 번 생각해보면 좋을 질문들이 많았다. 그래서 혹시 나중에 (미래의) 내 대학원 학생들이나 내가 T-FR에 논문을 제출하게 된다면, 이 질문들을 체크리스트 삼아 해당 내용이 논문에 잘 반영되었는지 역으로 활용할 수 있지 않을까 하여 질문 리스트를 공유한다.
최근에 로봇 분야에는 Transaction on Field Robotics (T-FR)이라는 저널이 올해 5월에 신설되었다. 아직 SCI가 아니어서 아마 한국 연구자들은 대체로 생소할 것이지만, 한 1-2년 후에 금새 SCI가 될 것이라 생각된다 (2년 뒤에 진짜 되는지 다시 방문해서 읽어주세요(?)).
로봇 분야는 필드 테스트가 굉장히 중요한데도 불구하고, 현재 대부분의 리서치는 CVPR을 필두로 하여 '그래서 님 methodology의 novelty가 뭐임?'에 대부분 초점이 맞춰져 있다 보니, 실제로 인류에 필요한 필드 실험들을 열심히 해도 논문은 내지 못하는 것에 로봇 분야 대가 교수님들이 큰 아쉬움을 느꼈나 보다. 그리고 원래 Journal of Field Robotics (JFR)이라는 저널이 있었는데, 이 저널이 IEEE가 관리하는 저널이 아니어서 quality control과 논문 리뷰 프로세스 관리가 잘 되지 않는 문제가 있었다. 그래서 이 두 문제를 해결하고자 시니어 교수님들이 모여 'a) 필드 로보틱스 엔지니어를 위한, b) IEEE가 주관하는 field robotics 저널을 만들자!' 는 취지에서 T-FR이 시작되었다.
위는 T-FR의 저널을 설명하는 이미지 (출처: https://www.ieee-ras.org/publications/t-fr)
그리고 나도 현재 우리 분야의 대가인 교수님 아래에서 일하다 보니, T-FR 논문 리뷰를 할 기회가 있었다. 그런데 리뷰를 하며 깜짝 놀란 부분은, 리뷰 질문 리스트가 굉장히 상세히 세분화되어 있다는 것이다. 특히, 이 질문 리스트에는 좋은 답변을 받을 수 있을지 저자의 입장에서 다시 한 번 생각해보면 좋을 질문들이 많았다. 그래서 혹시 나중에 (미래의) 내 대학원 학생들이나 내가 T-FR에 논문을 제출하게 된다면, 이 질문들을 체크리스트 삼아 해당 내용이 논문에 잘 반영되었는지 역으로 활용할 수 있지 않을까 하여 질문 리스트를 공유한다.
[내용 관련]
Q1. What is this paper about?
이 논문은 무엇에 관한 것인가?
논문이 다루는 주제를 정확히 이해하고, 연구의 목적과 범위를 파악하기 위해.
Q2. What about this work is original, novel, and unique?
이 연구의 독창적이고 참신하며 유일한 점은 무엇인가?
연구의 창의성과 기여도를 평가하고, 기존 연구와 비교해 새로운 통찰을 제공하는지 확인하기 위해.
Q3. Why is this paper significant and is this enough to warrant publication?
이 논문이 중요한 이유는 무엇이며, 출판할 가치가 있는가?
연구 결과가 학문적 또는 실용적 관점에서 얼마나 중요한지, 출판할 만한 가치가 있는지를 판단하기 위해.
Q4. Does the paper describe its underlying theoretical principles?
이 논문은 기초 이론적 원칙을 설명하고 있는가?
연구가 이론적 기반을 제대로 갖추고 있는지, 그리고 해당 이론을 충분히 설명했는지 평가하기 위해.
Q5. Are these principles well explained and correctly applied?
이 원칙들이 잘 설명되고 정확하게 적용되었는가?
이론이 논문에서 올바르게 사용되었고, 그 적용이 논리적으로 맞는지를 검토하기 위해.
Q6. Does the paper provide compelling experimental evidence?
이 논문은 설득력 있는 실험적 증거를 제시하는가?
연구 결과가 실험에 의해 충분히 뒷받침되는지를 평가하고, 연구의 신뢰성을 판단하기 위해.
Q7. Are the experiments well conceived, sufficient in scope, and statistically significant?
실험이 잘 계획되었고, 범위가 충분하며 통계적으로 유의미한가?
실험 설계가 연구 목적에 부합하는지, 결과가 충분히 검증되었는지를 확인하기 위해.
Q8. Does the paper contain adequate technical detail to confirm its correctness?
이 논문은 정확성을 확인할 수 있을 만큼 충분한 기술적 세부 사항을 포함하고 있는가?
연구가 재현 가능할 정도로 구체적인 기술적 설명이 제공되는지를 검토하기 위해.
Q9. Does the paper report on what was learned?
이 논문은 얻은 교훈에 대해 보고하고 있는가?
연구가 기존 지식을 어떻게 확장하거나 보완했는지, 어떤 교훈을 주었는지 파악하기 위해.
[Template 관련]
Q10. Is the paper logically organized?
이 논문은 논리적으로 구성되었는가?
논문의 구조가 일관되고 논리적으로 이어지는지, 읽는 이가 내용을 쉽게 따라갈 수 있는지를 평가하기 위해.
Q11. Is the writing understandable? Are there noteworthy grammatical problems?
글이 이해하기 쉬운가? 눈에 띄는 문법적 문제는 없는가?
글이 명확하고 이해하기 쉬운지, 그리고 문법적으로 문제가 없는지를 확인하기 위해.
Q12. Does the abstract succinctly summarize the main ideas and results of the work?
초록이 연구의 주요 아이디어와 결과를 간결하게 요약하고 있는가?
초록이 논문의 핵심을 잘 요약하고, 독자들이 전체 연구를 빠르게 이해할 수 있도록 돕고 있는지 평가하기 위해.
Q13. Does the introduction provide motivation and overview of the work?
도입부가 연구의 동기와 개요를 제공하고 있는가?
연구가 왜 중요한지, 그리고 어떤 문제를 다루고 있는지를 명확히 설명하고 있는지 확인하기 위해.
Q14. Are the figures informative and clear with proper labeling?
도표들이 정보 전달에 유용하고, 적절한 라벨링이 되어 있는가?
도표가 명확하고 적절한 정보 전달 도구로 사용되었는지, 그리고 라벨링이 잘 되어 있는지 평가하기 위해.
Q15. Are the captions explanatory of the figure content?
캡션이 도표 내용을 설명하고 있는가?
캡션이 도표의 의미를 충분히 설명하고 있어, 도표만 보고도 내용을 이해할 수 있는지 확인하기 위해.
Q16. Does the summary/conclusion meaningfully describe the contribution and result?
요약/결론이 연구의 기여와 결과를 의미 있게 설명하고 있는가?
결론이 연구에서 얻은 중요한 교훈과 기여를 명확하게 설명하고 있는지 평가하기 위해.
Q17. Are adequate citations made for prior work or controversial statements?
이전 연구나 논란이 될 수 있는 주장에 대해 적절한 인용이 이루어졌는가?
논문이 기존 연구나 논쟁의 여지가 있는 주장에 대해 충분한 근거와 인용을 제시하고 있는지 확인하기 위해.
Q18. Is the bibliography complete?
참고문헌이 완전한가?
모든 인용된 연구가 정확히 포함되어 있으며, 참고문헌이 충분한지 평가하기 위해.
이 질문들을 통해 논문이 평가될 때 크게 a) 각 요소를 종합적으로 고려해 논문이 학문적 가치가 있는지, b) 논문이 학문적 가치를 넘어서, 독자에게 명확하게 전달되고 있는지를 기준으로 평가되고 있음을 알 수 있다.
