암호 라이브러리는 인터넷 통신 및 각종 보안 시스템의 기반이 되는 암호 알고리즘의 구현체이다. 컴퓨터, 모바일 기기뿐만 아니라 군용 장비, 드론과 같이 보안이 중요시되는 다양한 분야의 소프트웨어에서 보안 기능을 위해 다양한 암호 라이브러리를 사용하고 있다. 만약 암호 라이브러리에서 보안 취약점이 발견된다면 암호 라이브러리를 사용하는 전체 시스템의 보안에 구멍이 생겨 치명적인 위협으로 이어질 수 있기 때문에 이러한 취약점을 사전에 찾아 위협을 방지하는 것은 언제나 중요한 문제이다.
암호 라이브러리는 일종의 소프트웨어이기 때문에 소프트웨어의 취약점을 찾는 데 널리 사용되는 도구인 퍼저(Fuzzer)를 사용하여 암호 라이브러리의 취약점을 사전에 탐지할 수 있다. 퍼저는 분석 대상 소프트웨어의 입력으로 무작위로 생성한 입력을 제공하고 분석 대상의 비정상행위를 탐지하는 소프트웨어 동적 분석 도구이다.
암호 라이브러리를 대상으로 개발된 퍼저는 2019년 오픈소스로 공개된 Cryptofuzz가 대표적이다. Cryptofuzz는 동일한 기능에 대하여 구현된 서로 다른 암호 라이브러리에 같은 입력을 넣고 결과 값의 차이를 분석하는 차분 분석(Differential Testing)을 수행하여 일반적인 퍼저가 탐지하지 못하는 구현상의 불일치를 탐지할 수 있어 암호 라이브러리의 취약점을 탐지하는데 효과적이다.
연세대학교 권태경 교수 연구팀은 암호 라이브러리의 취약점을 탐지하기 위해 제작된 퍼저인 Cryptofuzz를 분석하여 Cryptofuzz가 기본적으로 입력 생성기로 사용하는 libFuzzer는 매우 비효율적임을 지적했다. Cryptofuzz의 제작자는 이를 개선하기 위해 자체적으로 입력을 생성하는 부분을 Cryptofuzz에 맞춤화 된 입력을 생성하도록 직접 제작하여 사용하지만 연구진은 이러한 맞춤화 된 입력 생성기를 제3자가 사용하여 암호 라이브러리의 취약점을 탐지하고자 한다면 Cryptofuzz 및 대상 라이브러리의 구조에 대한 분석이 선행되어야 하기 때문에 많은 시간과 인적 자원이 소모됨을 지적했다.
이에 연구진은 Cryptofuzz에서 기존에 사용하던 입력 생성기인 libFuzzer대신 보다 양질의 입력을 생성하여 제공할 수 있는 도구를 접합하기 위해 Cryptofuzz를 하나의 독립적인 어플리케이션으로써 동작할 수 있도록 하였다. 이를 위해 기존에 사용하던 입력 생성기인 libFuzzer로부터 입력을 제공받는 부분을 제거하고 일반적인 프로그램처럼 파일이나 표준입력을 통해 입력 값을 받을 수 있도록 하였다. 이는 기존 Cryptofuzz를 독립적으로 실행 가능하도록 변경한 버전이기 때문에 연구진은 이를 Cryptofuzz-standalone이라 명명하고 사용하였다.
연구진은 개발한 Cryptofuzz-standalone에 퍼징과 콘콜릭 실행(Concolic Execution)을 동시에 수행하여 다양한 소프트웨어의 취약점을 효과적으로 탐지할 수 있는 하이브리드 퍼징(Hybrid Fuzzing)을 적용하였다. 이 결과로 연구진은 암호 라이브러리 대상 퍼징의 성능을 성공적으로 개선하여 암호 라이브러리를 기존보다 빠르게 테스트하고 취약점을 탐지할 수 있도록 하였다. 특히 이번 연구에서 사용된 하이브리드 퍼저인 Intriguer는 권태경 교수 연구팀에서 지난 2019년 컴퓨터 보안 분야 최고 컨퍼런스 중 하나인 ACM CCS에서 발표한 하이브리드 퍼저로 Field-Level Constraint Solving을 통해 기존 하이브리드 퍼저의 성능을 크게 개선하여 버그를 효율적으로 탐지할 수 있는 하이브리드 퍼저이다.
이번 연구는 국제 컨퍼런스 ICISC 2022 (The 25th Annual International Conference on Information Security and Cryptology)에서 발표되었으며 Best Paper Award를 수상했다.
본 연구는 암호 라이브러리의 동적 분석의 성능을 향상시켜 기존 도구들보다 암호 라이브러리를 빠르게 테스트하고 취약점을 탐지할 수 있도록 해주는 기술이다. 연구진은 본 기술이 암호 라이브러리의 보안성 향상에 기여할 수 있을 것이라 기대했고, 나아가 암호 라이브러리의 보안성 향상은 곧 보안 기능을 사용하는 시스템 전체에 대한 보안성 향상을 의미하기 때문에 본 기술이 국가, 기업, 군사 등 보안을 필요로 하는 다양한 분야의 보안성 향상에 기여할 수 있을 것으로 기대했다.
한편 이번 연구는 정보통신기획평가원(IITP)의 정보보호 핵심원천기술 개발사업의 지원을 받아 수행되었다.
