인터넷의 발달과 정보의 방대함으로 최근 연구 동향에서 오픈 사이언스(Open Sciences) 이슈가 급부상하고 있다. 이런 가운데 오픈 사이언스 관점에서 동료 평가 절차에 관한 새로운 접근이 요구되고 있다. 공개 동료 평가(open peer review)는 오픈 사이언스의 여러 동료 평가 방법 중 하나이다.

최근 발표된 Nicholson 등(2022)의 연구 결과에 따르면, 오픈 액세스 플랫폼 사전 공개 논문(preprint)의 출판 비율이 77% 이상 되고, 실제 출판 논문과 본문의 차이가 크게 없다는 분석 결과를 보여준다. 사전 공개 논문의 평가는 대표적인 공개 동료 평가 기반으로 이뤄지며 빠른 연구 결과의 전파가 필요한 생명과학, 암호학 분야 등에서 활발하다.

이에 한국연구재단은 이와 관련한 R&D 브리프 ‘오픈 사이언스 시대의 공개 동료 평가 (open peer review)가 주는 시사점 - 부실 학술지 억제 효과에 관한 논의’를 최근 발간했다(작성자: 한국연구재단 윤리정책팀 신정범·양정모). 주요 내용은 다음과 같다.

 

▶ ‘부실 학술지’와 ‘동료 평가’

부실 또는 약탈적 학술지가 학계와 시민 사회에 중대한 악영향을 끼치고 있다는 점은 전 세계 학자들이 공감하고 있고, 이에 대한 다양한 대처 방안들이 제시되고 있다. 그러나 부실 학술지의 정의나 세부 기준, 심지어 어떻게 명명할지를 둘러싸고도 여전히 의견이 분분하다.

다만 일반 학술지와 부실 학술지를 구분할 수 있는 가장 결정적인 기준으로서 ‘동료 평가의 질적 수준 유지의 중요성’에는 크게 이견이 없다. 신뢰할 수 있는 학술지와 출판사를 식별하는 데 가장 널리 쓰이고 있는 Think. Check. Submit(thinkchecksubmit.org) 캠페인의 체크리스트에서도 동료 평가에 관한 내용이 주요 확인 사항이다. 부실 학술지 현황을 확인하거나 작동 방식을 파악하고자 실시된 일련의 함정 실험도 동료 평가의 충실성을 그 대상으로 삼았다.

사실상 부실 학술지는 최대한 많은 논문을 출판하여 APC(Article Processing Charge) 수익을 극대화하는 데 목표를 두고 있다. 따라서 엄격하고 깐깐한 동료 평가는 수익 창출의 가장 큰 걸림돌로 작용하게 되므로, 필연적으로 부실 학술지는 정상적인 학술지에 비해 동료 평가가 소홀할 수밖에 없다.

무엇보다 부실 학술지의 제일 큰 폐단은 과학적 오류를 ‘엄밀하게 평가하여 거르지 않고’, 오픈 액세스 방식을 통해 외려 오류가 널리 전파되는 걸 촉진함으로써 연구 문헌의 신뢰성을 심각하게 훼손하는 데 있다.

 

▶ 부실 학술지 성장의 아이러니, ‘동료평가’

그간 기성 학술지에서 드러난, 동료 평가 운영상의 문제가 부실 학술지가 급성장하게 된 주요 원인이 되기도 한다. 부실로 추정되는 학술지의 상당수가 이른바 논문의 ‘빠른 출판 (rapid publication)’을 강조하고 있다. 

그중 어떤 학술지는 투고 후 12일 내외로 동료 평가를 거친 첫 번째 결정이 내려지며, 출판 승인도 4일 내외로 받을 수 있다고 홍보한다. 심지어 빠른 출판을 촉진하고자 기간 안에 심사를 마친 평가자에게는 APC 할인 혜택을 제공하기도 한다.

이는 기성 학술지의 동료 평가 운영에서 드러난 문제점인 ‘평가 지연과 그에 따른 기회비용 발생’, ‘평가자 인센티브 부족’ 등을 집중적으로공략한것으로서, 투고자가 학술지의 부실성을 사전에 인식하였는지 여부를 떠나, 그들의 다양한 니즈를 충족해 줄 수 있는 매력적인 세일즈 포인트임은 분명하다.

승진이나 고용에 필요한 연구 실적을 쉽고 빠르게 그리고 많이 쌓으려는 악의적인 목적으로 부실 학술지임을 알고도 이용하는 연구자도 있겠으나, 부실 학술지임을 모른채 단지 연구 결과를 하루 빨리 발표하여 후속 연구나 특허 출원 등을 진행하려는 순수한 의도로 논문을 투고한 연구자도 있을 수 있다.

특히 전통적인 동료 평가가 내포하고 있는 ‘블랙박스(blackbox)’적 특성(Ross-Hellauer, 2017), 즉 평가자가 누구이고 그들은 어떠한 평가를 내렸는지, 편집인은 게재 여부를 어떻게 결정하였는지 등이 공개되지 않는 특성은 부실 학술지로 하여금 부실한 동료 평가를 감출 수 있는 효과적인 방패막이가 되고 있다.

Grudniewicz 등(2019)은 부실 학술지를 정의하는 기준에서 동료 평가의 질적 수준을 제외하였는데, 정상적 학술지도 동료 평가 내용이 공유되지 않는 등 평가 과정이 투명하지 않은 상황에서 부실 학술지의 동료 평가 수준을 평가하는 것이 현실적으로 불가능하다는 점을 그이유로 들고 있다.

 

▶ 공개 동료 평가(open peer review)의 억제 효과

앞서 Grudniewicz 등(2019)의 주장에 대해 Dobusch 등(2020)은 동료 평가를 제외하는 것은 의미가 없으며(“no peer review, no point”), 이는 부실 학술지를 되레 강화시키는 일이라고 비판한다.

또한 Dobusch 등(2019)은 현실적으로 부실 학술지를 근절하기는 어렵겠지만 이를 최대한 억제할 수 있는 수단이자, 부실한 학술지와 건실한 학술지를 구분할 수 있는 수단으로서 ‘공개 동료 평가’의 제도화를 제안한다.

유수의 학술지가 동료 평가를 공개하기로 결정한다면, 동료평가가 부실한 학술지들은 이러한 조치를 따르지 못할 것이고, 그러면 부실 학술지를 자연스럽게 식별할 수 있을 거란 논리이다.

이에 Dobusch 등(2019)은 구체적인 공개 방식으로 ① 신원 공개 (open identities), ② 평가 내용 공개(open reports), ③ 개방형 플랫폼 (open platforms) 등 3가지 안을 제시하고 있다. 아래의 내용은 Dobusch 등(2019)의 3가지 안을 요약·정리한 것이다.

▪ 신원 공개(open identities)는 논문을 출판할 때 저자뿐만 아니라 동료 평가자의 이름도 표시하는 방안이며, 더 발전적으로는 평가자의 ORCID(Open Researcher and Contributor ID) 번호까지 표시하자는 것이다.

동료 평가가 없거나 형식적인 부실 학술지는 허구의 또는 부적합한 평가자의 신원을 공개하지 못할 것임을 가정한 방안이다. 평가자 신원 공개를 위해 허구의 평가자 ID를 위조하는 일에는 많은 비용이 투여되기 때문에 부실 학술지로선 큰 손해를 감수하게 된다. 

▪ 평가 내용 공개(open reports)는 논문을 출판할 때 평가 내용(전부 또는 요약)도 함께 게재하는 방안이며, 신원 공개와 결합할 경우 평가자의 평판을 직접적으로 높일 수 있다. 

동료 평가가 없거나 형식적인 부실 학술지로 하여금 평가 내용이 존재하지 않는다거나 충실하게 심사하지 않았다는 사실을 인정할 수밖에 없게끔 압박할 수 있다.

▪ 개방형 플랫폼(open platforms)은 논문이 게재될 학술지가 아닌 독립적인 플랫폼에서 동료 평가가 이루어지는 방안으로서, 플랫폼과 학술지 간의 연결은 다양한 방식으로 구성될 수 있다.

이를테면 해당 플랫폼이 학술지와 제휴하는 방식(학술지가 평가 내용들을 열람하여 출판할 논문을 제안)과, 저자가 제출한 논문을 평가하여 그 결과를 저자가 선호하는 학술지에 전달하는 방식 등이 가능하다.

독립적 평가 플랫폼이 활성화될 경우 APC에 투여되는 자금의 상당 부분이 해당 플랫폼으로 이동함으로써 학술 출판 시장에서 부실 학술지의 입지를 좁힐 수 있을 것으로 기대된다.

 

▶ 시사점

현재 부실 학술지 문제를 해결하려는 다각적인 논의와 노력이 이루어 지고 있으며, 국내에서도 블랙리스트나 화이트리스트를 만들어 관리해야 된다는 목소리가 상당하다.
이와 같은 목록화는 기실 부실 학술지의 ‘박멸’을 염두에 둔 조치이나 그것의 압도적인 수,  부실성이 고정되지 않고 유동적이란 사실, 여전히 그 정의와 기준이 모호하다는 점 등이 목록화의 현실성과 유용성에 회의를 갖게 하며, 이는 막대한 비용뿐 아니라 신생 학술지의 성장을 저해하는 부작용마저 초래할 수 있다.

신생 학술지는 개간 후 1년이 경과되기 전까지 일종의 건실성 입증의 표지로서 DOAJ(Directory of Open Access Journal)에 등재되거나 COPE(Committee on Publication Ethics)에 가입할 수 없으며, 좋은 취지에서 운영되고 있는 정상적인 학술지라도 재정 등이 열악하면 전문적인 웹 사이트를 운영하지 못할 수도 있다.

따라서 부실 학술지 문제는 무분별한 확장을 억제하고 적정 수준을 관리하는 데 초점을 두는 것이 실리적이며, 생태학적 관점에서 근본적인 원인을 찾고 학술 출판 시장의 혁신과 변화로써 이를 해결하려는 노력이 긴요하다.

부실 학술지 문제는 연구자 공동체의 자발적 의지와 자정이 무엇보다 중요하므로, 향후에도 공개 동료 평가뿐만이 아니라 다양한 관점과 접근이 자율적으로 연구되고 논의되고 적용되어야 한다.