네이처의 2016년 설문조사 결과에 따르면, 70% 이상의 연구자가 다른 연구자의 실험을 재현하는 데 실패했고, 절반 이상이 자신의 실험을 재현하는 데 실패했다고 응답했다.

또한 영국의 고등교육 잡지인 THE(The Times Higher Education)는 연구 재현성 문제의 심각성을 인지하고, 영국 의회의 관련 조사 관계자 5인의 의견을 빌어 과학 출판, 연구비 지원 등 다각적인 측면에서 재현성을 제고할 수 있는 방안을 모색한 바 있다.

그리고 심리학자 스튜어트 리치(Stuart Ritchie)는 저서 『사이언스 픽션』(Science Fictions)(2020)에서 연구가 재현되지 않는 문제의 원인을 기성 과학 출판 시스템과 동료 평가 과정에서 찾은 바 있다. 이처럼 해외에서는 이미 연구 재현성 문제가 곧장 과학의 추락으로 직결될 수 있다는 데 경각심을 갖고, 그 원인을 철저히 규명함과 동시에 해결책도 적극적으로 강구하고 있다. 

이에 한국연구재단은 지난달 28일 <연구 재현성 위기 극복을 위한 「출판 보장형 연구 사전 심의제」 (registered reports)>란 제목의 [R&D BRIEF]를 발간했다(작성자: 한국연구재단 윤리정책팀). 이 브리프는 연구 재현성의 의미와 위기, 출판 보장형 연구 사전 심의제 그리고 그 효과와 우려에 대한 고찰을 통해 출판 보장형 연구 사전 심의제가 새로운 연구 수행 방법의 모델로서 출판 편향을 방지할 수 있는지에 대해 시사점을 도출하고 있다.

 

▶ 연구 재현성의 두 가지 의미

• 연구재현성은 Reproducibility와 Replicability의 두 가지 의미 모두를 함의하고 있는 개념

• Reproducibility는 되풀이되는 실험에서 그 결과가 일정하게 산출될 가능성을 뜻하는 개념으로 “입력값, 계산단계/방법/코드, 분석조건 등을 동일하게 사용하여 일관된 결과를 얻는 것”을 의미한다.

• Replicability는 동일한 질문을 다루지만 데이터 세트가 다른 연구에서도 일관된 결론이 도출될 가능성을 뜻하는 개념으로, 그 결과가 다른 맥락에서도 복제될 수 있음을 의미한다.

▶ 연구 재현성 위기: 출판 편향과 실적 압박

• 실험과 통계 분석 방법을 주로 사용하는 심리학과 임상 의학 분야의 상당수 연구가 재현되거나 일반화되지 않는다는 문제는 이미 오래 전부터 제기되어 왔다.

심리학 분야 연구 재현성 테스트 결과, 100개의 실험/상관관계 연구 중 39%만이 재현에 성공했으며, 전임상(preclinical) 암 연구 논문 53편 중 6편(11%)만이 과학적으로 유의미한 결과가 재현됐다.

• 출판 편향(publication bias)과 실적 압박이 재현성과 일반성 위기를 촉발하는 주요 원인으로 지목되고 있다. 

‘출판 편향’은 새롭고 흥미로운 가설을 증명한 것으로 보이는, 성공적인 연구 결과만 출판하려는 경향을 가리키는 말로서, 증명에 실패한 연구 결과는 세상에 발표되지 않는다는 점에서 소위 ‘책상 서랍 문제(file drawer problem)’로 일컬어지기도 한다.

연구 실적 압박에 시달리는 연구자 입장에서는 과정의 꼼꼼함이나 결과의 엄격성보다는 결과가 얼마나 흥미롭게 보일지에만 골몰할 수밖에 없으므로 p-해킹(p-hacking), 미로의 정원(garden of forking paths) 등 부적절한 방법을 사용하여 결과적으로 연구 재현성에 심각한 손상을 입히게 된다.

• 당초 연구자가 어떠한 기준, 조건, 방법 등으로 결과 데이터를 분석하려 했는지 그 계획을 사전에 알 수 없다면, p-해킹이나 미로의정원과 같은 수법을 연구자가 실제로 사용했는지 밝혀내기가 쉽지 않다.

▶ 출판 보장형 연구 사전 심의제(registered reports)

• 데이터 수집 등 본격적으로 연구를 시작하기에 앞서 연구 프로토콜 (protocol: 연구 질문, 실험 방법, 데이터 분석 방법 등의 상세 연구 계획)을 사전에 등록하여 심의(동료 평가)를 거치도록 한 제도이다.

• 사전 심의를 통과하여 승인된 프로토콜에 따라 연구를 수행하였다면 그 결과에 상관없이 ― 설령 가설이 통계적으로 유의미하게 증명되지 않았더라도 ― 논문 출판을 잠정적으로 보장한다.

• 이는 연구 프로토콜을 사전 등록만 하고 심의와 승인을 거치지 않는 사전 등록제(pre-registration)와는 다르며, 그 절차가 더 엄격하다.

• 현재 300개 이상의 학술지에서 정기호 또는 특별호를 발행할 때 출판 보장형 연구 사전 심의제를 도입하여 운영하고 있다.

▶ 효과와 우려

• 논문 출판이 원칙적으로 보장됨에 따라 연구 결과를 미화해야 한다는 부담이 사라지므로, 빈약한 통계 검증력, 결과의 선택적 보고, 출판 편향 등 의심스러운 연구 행위를 미연에 방지할 수 있다.

• 반면 연구를 수행하는 과정에서 우연히 발견된 과학적 결과가 발표되지 못 할 수 있다는 우려, 즉 탐색적 연구(exploratory research)를 축소시킬 수 있다는 우려가 제기된다.

본 제도를 제안하여 운영 중인 Center for Open Science(COS)는 사전 등록된 가설 검증 결과와 탐색적 분석 결과를 명확히 구분하여 보고하도록 하므로, 우연히 발견된 결과를 보고하는 데 제한을 두지 않는다고 반론한다.

• 동료 평가가 2차례 진행되는 데다 프로토콜을 변경하여 연구를 진행하려면 승인을 다시 받아야 하는 등 저자와 동료 평가자에게 과도한 작업량이 부과되거나 많은 시간이 소요될 수 있다는 우려도 제기된다.

COS는 1단계 평가로써 방법론적 결함이 발생하기 전에 이를 수정할 수 있고, 원칙적 승인 이후에 참신성과 획기적인 면이 부족하다는 이유(기성 학술지의 전형적인 거절 사유)로 수차례의 투고-평가-수정 과정이 반복되지 않으므로, 실질적인 작업량은 기존 출판과 유사할 것이라고 반론한다.

▶ 시사점

• Bishop 등은 재현성 문제의 원인이 동료 평가 자체가 아닌 ‘진행 시점’에 있으므로, 출판 보장형 연구 사전 심의제가 새로운 연구 수행 방법의 모델로서 출판 편향을 방지할 수 있다고 주장한다. 아울러, 재현되지 않는 연구를 걸러내지 못한 동료 평가의 문제를 ‘연구비 낭비’의 문제로 인식하고 조치를 취해야 한다고도 제언한다.

• 연구가 재현되지 않거나 일반화되지 않는 문제는 사실상 연구진실성(research integrity)이 심각하게 훼손되는 문제와도 직결되므로, 위조, 변조 등의 연구부정행위뿐만 아니라 p-해킹 등 의심스러운 연구 행위에 대해 더 이상 경각심을 늦추지 말고, 이를 예방할 수 있는 다각적인 조치가 하루속히 강구되고 시행되어야 한다.

• 또한 공공기관이나 민간기관 등도 연구비를 지원함에 새롭고 획기적인 연구를 지나치게 선호하는 출판 편향과 같은 문제가 없는지 점검하고, 이와 관련하여 제도적 결함이 있다면 개선하고 보완할 필요가 있다.