논문을 쓰는 것(원제 : Reviewing Criteria)

논문을 쓰는 것(원제 : Reviewing Criteria)

visionNoob visionNoob 2018.03.28 12:15

 본 포스트는 GoogleBrain의 유명한 Research Scientist인 Colin Raffel의 블로그 포스트[1]를 번역한 것입니다. 

사실 논문을 쓰는 법에 관한 이야기가 아니라, 논문을 리뷰하는 기준에 관한 이야기 입니다만

논문에 대해 "저자" 가 아닌 "리뷰어"의 입장에서는 어떤 시각으로 바라보는 지에 대해 알 수 있었습니다. 

한국어로 편하게 읽히도록 하기 위해 의역이 많은 점 양해 바랍니다..

추가 : 원본 블로그 포스팅에서는 Example에서 ICLR18에 summit된 한 논문[2] 대한 OpenReview의 리뷰어들의 반응과 본인의 의견에 대한 이야기가 실려있습니다. 추가적인 내용은 원본 포스트를 참고해 주시기 바랍니다. 

논문을 리뷰하는 기준

나는 최근들어 점점 더 많은 논문리뷰를 하고 있고, 논문 리뷰를 하면서 "어떤 기준으로 이 논문을 Accept해야 하는지"에 대한 고민을 해왔다. 우선 지금까지 논문 리뷰의 기준이었을 "나만의 원칙"이 어떤 것이었을까를 확인하기 위해서, 나만의 "논문 리뷰 기준"을 정리해 보기로 하였다. 만약 이 다른 리뷰어들이 이 기준이 제법 들어맞는다(reasonable)고 생각한다면, 이 기준이 논문을 "쓰는" 사람들에게도 어느정도 도움이 될 것이라고 생각한다. 만약 내가 여러분의 논문을 리뷰하고 있고, 당신의 논문이 "이 기준"에 하나라도 만족하지 못했다면 아마도 나는 여러분 논문의 Reject을 권유할 것이다. 

(주의: 나는 오로지 machine-learning과 연관된 conferences에서만 리뷰를 하기 때문에,  이런 기준이 다른 분야 혹은 journals이나 workshops과 같은 다른 유형의 venues에서는 들어맞지 않을 수도 있다.)

기준 Criteria

1. 논문에는 반드시 "새로운 것(New thing) 이 있어야 한다."

 그렇다고 무조건 논문에 새로운 알고리즘이나 기술이 들어있어야 하는 것은 아니다. "새로운 알고리즘" 이나 "새로운 기술" 이 아니라, 이미 존재하는 것에 관한 "새로운 관점" 이나 "새로운 실험" 일수 있다. 다만, 논문에는 반드시 다른 곳(혹은 다른 논문)에서는 찾아볼 수 없었던 정보(information) 혹은 통찰(insight)이 있어야 한다. 하지만 논문에서 제시하는 "정보"나 "통찰"이 incremental하면 안되고, 정보 delta가 non-negligible 해야 한다. (주 : 함수 f(x)의 순간 변화 량을 delta X 라 했을 때 이를 incremental이라 표현, delta X가 순간 변화 량 마냥 작으면 안되고, 충분히 커야 한다는 의미)

2. 논문에서 반드시 "새로운 것"에 대한 신빙성있고 타당성있는 이유(convincing justification)를 설명해야 한다.

 타당성에 대한 근거가 이론적 일수도, 경험적 일수도, 철학적 일수도 있겠지만, 나는 (그 타장한 근거를 바탕으로) "다른 사람들이 시간을 들여 이 논문을 읽을만한 가치가 있나" 에 대해 (논문 리뷰어의 입장에서) 고민한다. 타당성의 예를 들자면,  논문에서 제안하는 "새로운 것"이 기존 모델의 "성능을 개선" 시켰다면 타당성을 입증할 수 있을 것이다. 다른 예로, 논문에서 주장하고 있는 새롭게 제안하는 "(기존의 것보다)개선된 이론적 특성(improved theoretical properties)"이 주목할만한 쟁점(compelling argument)이 될 수 있다면 타당성을 입증할 수 있을 것이다. 

3. 논문에서 "새로운 것"에 대한 설명은 명료해야 하고, 이해하기 쉬워야 한다(clear and understandable).

 논문에서 잘 서술하는 것(writing)은 중요하다. 나는 논문의 설명이 부족하거나(poorly described) 세부 내용이 너무 부실하면(lots of missing details), 그 논문이 아무리 state-of-the-art한 결과를 보이더라도 Reject 할 것이다. 이는 2번 기준과도 관련이 있는데, 명료하지도 않고 이해하기도 어려운 논문이 다른 사람들 설득하여 신빙성을 입증하기가 어렵다는 것은 자명하다. 

Conclusion

 명심할 것은 위에 기준에는 

"논문은 반드시 "새로운 것"에 관해서 모든 것을 Citing해야 한다" 같은 항목은 존재하지 않는다는 것이다.

 논문에서 제안하는 "새로운 것"이 진정으로 새로운 것이라면, 리뷰어들은 저자에게 몇몇 citations이 누락되었다고 말해주면 되는 것이고, 저자는 최종버전(final version of paper)에 포함하기만 하면 된다. (Citations 몇 가지가 누락된 것이 중요한 것이 아니다.)

 같은 맥락으로  

"논문에는 반드시 오자나 문법적 오류가 없어야 한다" 

"그래프는 반드시 이쁘게 그려야한다"  라는 기준 또한 없다.

내(리뷰어)가 그 논문의 Contribution을 이해했고,  Proof of Concept을 이해했다면, 그걸로 충분한 것이다. 

 

마지막으로, 나는 현재의 리뷰 시스템에 문제가 있다고 생각하지만(예컨대, 대부분의 venues에서는 "논문의 재현 가능성"을 평가할만한  신뢰할만한 방법이 없다는 것.) 이 문제는 다른 포스팅에서 다루도록 하겠다.

(재현 가능성 : 논문을 보고 우리가 실험을 재현했을 때 논문의 결과와 같은지)

 

References

[1] http://colinraffel.com/blog/reviewing-criteria.html

[2] https://openreview.net/forum?id=rkEtzzWAb

출처: https://ipcvhomme.tistory.com/15