연구의 질을 심사하는 가장 일반적이면서 권위 있는 방식으로 학문 발전에 기여해 온 동료심사(피어리뷰: peer review) 제도의 문제점을 보완하기 위해 우리나라도 “연구과제 동료심사 윤리가이드” 마련이 시급하다는 제안이 나왔다. 국가연구개발혁신법과 청탁금지법과 같이 명백히 실정법을 위반한 경우 강력히 처벌하는 금지규정은 있으나 이것만으로는 동료심사와 관련된 다양한 윤리문제에 효과적으로 대응하기는 어렵다는 것이다.
현재 관련 법령이나 훈령을 통해 연구과제 신청자들과 이들 과제의 심사자들이 지켜야 할 규범들이 산발적으로는 제시되어 있지만 상세한 규범은 없는 실정이다. 따라서 한국연구재단을 비롯한 우리나라 연구비지원기관들은 동료심사제도 운영과 관련된 윤리규범을 연구자들이 인지할 수 있는 수준으로 체계적으로 제시할 필요가 있다는 주장이다.
한국연구재단은 이러한 내용을 담은 <NRF ISSUE REPORT>(2021_3호) “학술연구와 관련된 동료심사(Peer Review)의 윤리기준에 관한 연구”를 지난 8일 발간했다.
약 300년 전 영국에서 처음 채택된 동료심사는 해당 연구 분야 전문가들이 특정한 연구계획이나 연구결과물의 학술적 가치를 판단하는 행위로서 오랜 세월 동안 과학연구 결과의 질(Quality)을 평가하는 중요한 도구로서의 기능을 해 왔다.
현재 대부분의 학술지가 논문 게재 여부를 결정하고 논문의 질을 향상시키기 위한 의사소통 도구로 이 제도를 활용하고 있으며, 동료심사의 진실성(integrity)에 대한 많은 비판에도 불구하고, 대부분의 연구계 종사자들은 아직까지는 동료심사제도가 과학평가를 위한 최적의 방식이라 믿고 있다.
따라서 동료심사제도는 우리나라를 비롯해 대다수 국가의 학술단체나 연구비지원기관에서 연구의 질을 평가하는 핵심 도구로 널리 사용되고 있다. 이로 인해 동료심사제도는 개별 연구자의 연구경력 관리는 물론이고 학계 전체의 발전에 막대한 영향력을 미치고 있다.
그러나 우리나라의 경우 그간 동료심사제도에서 발생하는 여러 문제점에 대한 깊이 있는 논의는 부족했다. 특히 정부연구비 지원과정에 활용되는 동료심사제도의 문제점에 대해서는 더더욱 그 논의가 부족했다.
이번 연구는 지속적인 학문 발전 그리고 이를 위한 동료심사제도와 관련된 생태계의 건강한 유지를 위해 수행되었다.
■ 동료심사(Peer Review)
동료심사는 단지 연구계획서나 논문의 오류를 찾아내고 평가를 하는 것 이상으로, 같은 학계 내 관계자들의 상호작용을 통해 더 큰 시너지를 기대하며 이루어지기도 한다. 이는 동료들에 의해 검토된다는 피어리뷰의 수평적인 평가의 특징이 현존하는 많은 검토 방법들 중 가장 공정한 방법의 하나라고 여겨지기 때문이다.
동료심사는 단일암맹심사(Single Blind Review), 이중암맹심사(Double Blind Review), 개방형심사(Open Review) 등 3가지 방식이 가장 많이 활용되고 있는데, 시대가 변함에 따라 투명심사(Transparent Review), 협동심사(Collaborative Review), 출판후심사(Post Publication Review) 등과 같은 새로운 동료심사 모델이 계속 등장하고 있다.
학술단체에서 학술지에 게재할 논문의 검토를 위해 실시하는 동료심사와 연구비지원기관에서 과제를 선정하기 위해 실시하는 동료심사는 해당 분야의 전문가들이 평가를 진행한다는 사실은 같지만 목적, 방법, 평가대상 등에서 여러 가지 차이점이 존재한다.
■ 동료심사제도 운영의 주요 문제점
▶ 심사를 위한 과도한 자원 투입
동료심사에 들어가는 시간적, 인적, 물적 자원이 막대하다. 한국의 연구자들이 연구과제 심사를 위해 평균 어느 정도의 시간을 투자하고 있는지에 대한 조사결과는 없으나, 한국연구재단에서 진행한 동료심사 현황을 분석하면 그 정도를 추정할 수 있다. 한국연구재단의 과제평가는 온라인과 오프라인 모두 통상 분야별로 패널(패널 당 10과제 내외의 과제로 구성)을 구성하여 진행되며 심사자가 1개 패널에 배속된 과제를 심사하는 데 최소 약 2일 정도가 소요되는 것으로 추정된다.
2019년에 한국연구재단의 과제평가를 위해 8,710개의 평가패널이 구성되었고 여기에 참여한 인원은 중복참여를 포함하여 35,572명이었다. 따라서 이를 평가 참여시간으로 환산하면 2019년에만 약 280년이 투입된 것으로 추정된다.
이처럼 심사에 많은 시간을 투자하다 보니 심사를 꺼려하는 연구자들도 증가하고 있다. Publishing Research Consortium(2016)의 조사에 따르면 동료심사 요청을 거절하는 이유는
1) 너무 바쁨 45.7%, 2) 전공분야 불일치 34.9%, 3) 고품질 심사를 위해 필요한 기간(deadline) 부족 순으로 나타났다.
▶ 심사의 비일관성
많은 연구자들은 동료심사제도가 객관적이고 신뢰할 수 있으며 일관성이 있는 프로세스라고 생각한다. 그러나 동료심사제도는 매우 주관적이고 일관성이 부족할 수 있다는 사실을 인지할 필요가 있다. 결국 동료심사는 질이 낮은 논문의 게재 또는 선정을 완전히 제거할 수 없는 한계를 지니고 있는 것이 사실이다.
▶ 심사자의 편견
심사자의 편견은 다양하나, 크게는 연구방법에 대한 편견과 연구자에 대한 편견으로 구분된다. 연구방법에 대한 편견은 통상 심사자 본인이 알고 있는 지식과 경험에 의존하여 연구과제를 평가하기 때문에 발생한다. 한편 연구자에 대한 편견은 해당 연구자의 능력에 관한 것으로, 편견의 대상도 출신학교 및 소속기관의 지명도, 출신지역 성향, 성별 등 다양한 형태로 나타난다. 요컨대, 동료심사제도는 편견의 문제에서 자유로울 수 없다.
▶ 심사자의 윤리의무 위반
심사자가 동료심사와 관련된 윤리의무를 교묘하게 위반하는 것도 동료심사제도의 본질을 흐리는 큰 문제이다. 심사자의 연구윤리 위반 유형은 다양하나, 대표적으로는 (1) 심사기밀 유출, (2) 이해상충, (3) 인용강요, (4) 심사자의 표절, (5) 부적절한 심사자 배정 등의 문제가 있다.
(1) 심사기밀유출
학술단체 또는 연구비지원기관으로부터 동료심사를 의뢰받은 연구자는 동료심사와 관련된 모든 자료에 대한 기밀 유지 의무를 지켜야 한다. 이는 동료심사를 의뢰받은 사실을 관련자에게 유출하지 않는 것도 포함된다. 구체적으로 심사 중인 자료는 학술단체의 편집인 또는 연구비지원기관의 승인을 받지 않는 한 지정된 동료심사 과정은 물론 심사가 종료된 후에도 외부의 그 누구와도 공유하거나 논의해서는 안 된다. 심사자는 동료심사의 전 과정(심사 전, 심사 중, 심사 후) 동안 자신이 심사자였음을 알리지 않는 것은 물론 심사과정에서 있었던 그 어떠한 논의도 밝히지 않아야 한다.
(2) 이해상충(Conflict of Interest)
이해상충(COI)이란 1차적 이해(예시: 환자의 복지, 연구의 타당성 등)에 관한 전문적 판단이 2차적 이해(예시: 재정적 이득 등)로 인해 부당하게 영향을 받을 수 있는 일련의 상황을 말한다. 통상적인 학술단체들은 특정한 외부 동료심사자가 투고된 논문을 심사할 자격이 있는지 여부를 편집인이 판단할 수 있도록 이들의 어떠한 이해상충 문제라도 편집인에게 밝힐 것을 요구한다. 이처럼 이해상충 문제는 ‘동료심사’에 있어 핵심이 되는 윤리 문제이다.
심사자는 동료심사 전에 이해상충이 발생할 것으로 판단되는 즉시 학술단체 편집인 또는 연구비지원기관에 알리고 동료심사를 스스로 중단해야 한다. 이해상충에 대해 조치하는 것은 동료심사의 공정성을 위해 매우 중요한 일이다.
(3) 인용강요
동료심사의 또 다른 윤리문제는 편집인이나 심사자가 자신의 이전 논문을 심사 중인 논문에 인용하도록 요구하는 것이다. Baas & Fennell(2019)의 조사에 따르면 일부 심사자가 심사 과정에서 참조를 추가하여 인용 횟수를 늘리는 일이 실제로 발생하고 이러한 사례가 비록 매우 제한적이긴 하지만(약 0.79%) 인용 조작에 이용되는 것이 사실임을 밝혔다. 따라서 학술지나 연구비지원기관에서는 이러한 일이 발생하지 않게 조치해야 한다.
(4) 심사자의 표절
심사자가 동료심사에서 얻은 정보를 악용하는 것은 매우 심각한 연구윤리 위반에 속한다. 저자가 학술지에 논문을 게재하고자 원고를 투고한 후 원고의 게재가 거절되는 일은 흔히 일어나는 일이다. 그러나 논문이 거절된 이유가 심사자가 논문 내용의 일부를 표절하기 위해서라고 쉽사리 상상하기 어렵다. 연구비지원기관이나 학술지를 발행하는 학술단체는 이러한 사실에 대해 심각하게 생각하지 않는 경향이 있지만 많은 연구자들이 원고를 투고하거나 연구비를 신청하면서 가장 우려하는 것이 바로 심사자의 표절 문제이다.
(5) 부적절한 심사자 배정
동료심사에서 가장 중요한 절차는 심사 후보자의 추출과 심사자의 최종 배정이다. 심사자를 잘못 배정하면 동료심사를 실시하는 근본적인 이유인 연구에 대한 질적 수준을 명확하게 평가할 수 없기 때문이다. 심사자가 해당 연구 분야의 전문가가 아닌 경우, 심사자와 피심사자 간에 이해관계가 있는 경우 등이 이에 해당하는 대표적인 사례이다. 해당 연구 분야를 대표할 수 있고 균형적인 시각을 가진 심사자를 배정해야 하는 것이 학술지 편집인들이 지녀야 할 윤리적 책무이다.
■ 동료심사제도의 단점을 보완하려는 다양한 시도
1. 연구자의 잠재력 평가 중심의 동료심사
일부 민간 연구비지원기관은 지원대상 과제 선별 시 제안된 연구계획서의 타당성보다는 신청 연구자의 잠재력을 우선 평가하는 방향으로 동료심사를 진행한다. 즉, 프로그램 지원대상 선발 시 신청자가 제안한 연구계획서보다는 신청자가 그간 수행해온 전반적인 연구의 질을 평가하는 것이다.
2. 연구비지원기관 내부 프로그램 관리자(PM)의 역할 강화
전 세계의 대다수 연구비지원기관에서 동료심사를 실시할 때 기관의 내부 직원보다는 주로 해당 분야의 외부 전문가들을 활용하게 된다. 하나의 대안은 제안된 연구과제들을 심사할 때 외부 전문가들을 활용하기보다는 내부의 프로그램 관리자(PM)가 책임지고 심사를 진행하도록 하는 것이다. PM은 효과적으로 과제를 선정하고 필요 시 해당 과제를 종결시킬 권한과 책임을 동시에 가지고 있는 것이다.
3. 암맹심사(Blind Review)제도의 도입
암맹평가는 동료심사자들의 의식적 또는 무의식적 편견을 줄이기 위한 방편으로 주로 학술지의 논문 게재 심사에서 주로 활용되어 왔으나, 최근 들어 연구과제 심사에 대한 공정성을 높이기 위해 연구비지원기관의 연구과제 심사에도 종종 활용되고 있다. 암맹평가는 주로 개인단위 연구과제 평가에 주로 활용되었고 그간 실시와 폐지를 반복해 오고 있고, 지금도 한국연구재단의 일부 사업에서 활용하고 있다.
4. 추첨에 의한 선정방식 도입(Random selection of proposals)
동료심사제도의 단점 보완과 관련하여 최근에 주목을 받고 있는 방식 중 하나는 추첨에 의한 방식인 부분 무작위화(Partial randomization)이다. 이는 제안된 연구 계획서 중 일부를 추첨을 통해 선정하는 매우 파격적인 방식이다. 심사자들은 이와 같이 객관적 기준에 기초하지 않은 임의적 결정이 매우 위험한 방식이라고 비판하고 있으며, 아직까지는 극소수의 연구비지원기관에서만 이 방식을 시범적으로 운영하고 있다.
5. 심사에 일반시민 참여방식 도입
동료심사제도의 단점을 보완하기 위한 또 다른 방법은 환자, 환자가족, 간병인, 일반국민 등 비전문가를 심사과정에 참여시키는 것이다. 환자나 환자가족의 지식과 경험이 연구의 질과 타당성을 높일 수 있고 환자치료의 궁극적 목적을 달성하는데 기여할 수 있기 때문에 이들 이해관계자를 바이오의학 연구과정에 참여시키는 것은 타당하다고 할 수 있다.
■ “(가칭)연구과제 동료심사 윤리가이드”의 필요성
▶ 동료심사는 오랜 기간 동안 학술연구의 질을 평가하는 중요한 수단으로 활용되어 왔고 학문 발전에 크게 기여했으나, 과도한 자원 투입, 심사의 비일관성, 심사자의 편견, 심사자의 윤리의무 위반 등의 문제점이 있다. 이러한 문제점을 해결하기 위해 동료심사 방식을 대체하려는 다양한 시도와 더불어 다양한 형태의 동료심사 윤리 기준들이 마련되었다.
동료심사 방식을 대체하려는 다양한 시도 역시 그 근간은 동료심사에 뿌리를 두고 있기 때문에 아직까지는 학술연구의 질을 평가하는 수단으로 동료심사를 대체할 만한 다른 방법론을 찾지 못하고 있다.
동료심사 제도의 의의가 검토자와 저자간의 익명성에 기반을 두고 있다는 사실은 익명성이 어느 정도까지 완벽하게 보장되는 가에 따라 검토 과정 전체의 공정성이 영향을 받을 수 있다는 것을 의미한다. 특히 국내 학술계와 같이 연구자의 풀(pool)이 넓지 않고 연구자 간의 관계망이 촘촘하게 연결되어 있는 경우, 직접적인 검토자와 저자 간 접촉이 없다고 해도, 누가 또는 어느 기관에서 어떤 연구를 하는지 아는 것은 어려운 일이 아니다. 이 때문에 실제 검토자와 저자간의 익명성은 쉽게 무너질 수 있으며, 결과적으로 암맹심사의 핵심 가치인 공정성 역시 장담할 수 없는 상황에 처해지는 경우가 쉽게 발생할 수 있다.
따라서 현시점에서 가장 현실적인 대안은 동료심사제도와 관련된 윤리기준을 명확히 설정하고 동 제도를 운영하는 학술단체와 연구비지원기관이 제대로 된 관리기능을 확립하는 것이다.
국내외 여러 학술단체와 연구비지원기관 등은 동료심사 시 심사자가 지켜야 할 원칙 등이 수록된 동료심사 지침을 수립하고 심사자 교육 등을 통해 동료심사에서 나타날 수 있는 다양한 문제점을 해소하기 위해 노력하고 있다.
동료심사 윤리기준의 제정 및 운영 형태가 기관마다 다르기는 하나 공통적인 원칙이 존재한다. 심사비밀 준수, 신속한 심사, 이해상충 배제, 정직하고 정중한 심사평 제시 등이 공통적으로 나타나는 원칙이다.
해외 학술기관들의 동료심사 윤리기준들은 저마다 특징이 있으나, 이번 보고서에서는 내용적인 측면에서는 영국 소재 출판윤리위원회(COPE, Committee on Publication Ethics)가 2013년에 제시한 동료심사 가이드가 가장 잘 되어 있고, 형식적인 측면에서는 호주 국립보건의료연구위원회(NHMRC)가 만든 동료심사 가이드가 가장 잘 되어 있는 것으로 꼽았다. 그 이유는 COPE의 가이드는 동료심사 과정별로 가이드가 자세하게 제시되어 있고, 호주 NHMRC의 가이드는 “책임 있는 연구수행을 위한 강령”에 근거하여 동료심사 생태계를 구성하는 연구기관들과 연구자들이 준수해야할 사항을 체계적으로 제시하고 있다는 점 때문이다.
※ 영국 출판윤리위원회(COPE) 동료심사 가이드라인의 각 과정별 준수 항목
△ 동료심사자가 지켜야 할 기본원칙(Basic principles to which peer reviewers should adhere)
△ 동료심사 과정 중에 지켜야 할 사항(Expectations during the peer-review process)
① 동료심사 전(On being approached to review)
② 동료심사 중(During review)
③ 심사의견 작성 시(When preparing the report)
△ 심사 후 준수 사항(Expectations post review)
※ 호주 NHMRC 동료심사 가이드라인의 세부 항목
△ 연구기관들의 책임(Responsibilities of institutions)
① 동료심사 지원(Support peer review)
② 연구자들에 대한 교육(Provide training for researchers)
△ 연구자들의 책임(Responsibilities of researchers)
① 동료심사 참여(Participate in peer review) :
② 책임 있는 동료심사 수행(Conduct peer review responsibly)
③ 동료심사 과정의 개입회피(Avoid interference in the peer review process)
④ 동료심사 멘토링(Mentor trainees in peer review)
⑤ 적절한 교육에 참여(Engage in relevant training)
△ 책임 있는 동료심사 수행을 위한 상세 사항
① 심사자가 준수해야 할 사항
② 심사자가 하지 말아야 할 사항
③ 비밀유지(Respect confidentiality)
④ 이해상충 공개 및 관리(Disclose interests and manage conflicts of interest)
▶ 그간 한국연구재단을 비롯한 우리나라 연구비지원기관들은 동료심사제도 운영과 관련된 윤리규범을 연구자들이 인지할 수 있는 수준으로 체계적인 제시를 하지 못했다. 관련 법령이나 훈령 등을 통해 연구과제의 신청자(신청기관 포함)들과 이들 과제의 심사자들이 지켜야 할 규범들이 산발적으로는 제시되어 있기는 하나, “(가칭)연구과제 동료심사 윤리가이드”와 같은 상세한 규범이 없는 실정이다.
비록 국가연구개발혁신법과 청탁금지법에 따라 동료심사와 관련된 비밀을 누설하거나 평가와 관련하여 부정청탁이나 금품 등을 수수하는 경우에는 강력히 처벌하는 금지규정이 있으나, 이는 명백한 실정법 위반에 관한 것이라 이것만으로는 동료심사와 관련된 다양한 윤리문제에 효과적으로 대응하기는 어려운 실정이다.
이에 보고서는 우리나라 실정에 맞는 “(가칭)연구과제 동료심사 윤리가이드”의 마련을 제안했다. 물론 동 가이드는 관계 법률의 위임에 따른 금지규정이 아니라 연구자라면 누구나 알고 따라야 할 권고사항의 성격을 가져야 한다. 그럼에도 불구하고 동 가이드를 위반 시 한국연구재단 등 연구비지원기관에서 동료심사 자격을 일정기간 제한할 수 있는 제도적 장치를 함께 마련할 필요가 있다고 보고서 필진들은 제안했다.
