- 1월 8일 광학 분야 최상위 논문 ‘옵티카(Optica, IF 10.644)’ 게재
연세대학교 전기전자공학과 이승아 교수 연구팀은 경희대학교 전자공학과 박욱 교수 연구팀과 협업 연구를 통해 렌즈리스 카메라 기술의 핵심인 신규 광학소자를 대량으로 생산할 수 있는 기술을 세계 최초로 개발했다.
연구팀은 기존 초소형 카메라보다 5배 이상 얇은 카메라를 제작하고 이를 활용해 영상 촬영뿐만 아니라 광학 정보 처리 구현 등 응용을 보여, 렌즈리스 카메라 원천기술의 상용화 가능성을 최초로 제시했다. 특히 이번 연구는 위상 복원 알고리즘을 사용해 다양한 위상마스크를 설계하고 이를 단일 노광으로 빠르게 제작할 수 있어 나노 공정을 사용하던 기존 방식에 비해 월등히 높은 비용 효율성을 가진다. 이를 통해 일반적인 사진 촬영뿐만 아니라 지문 인식, 안면 인식 등 다양한 목적을 가진 계산 영상 기법을 활용한 렌즈리스 카메라 기술의 상용화 가능성을 기대할 수 있다.
이미지 센서와 인공지능 기반 영상처리 기술의 발달로 카메라의 용도가 단순한 사진 촬영에서 사물 인식, 생체 인식, 정보 획득 등으로 확장되면서 카메라 모듈의 소형화가 요구되고 있다. 그러나 카메라의 픽셀 해상도는 계속 증가하지만, 카메라 모듈의 전체 크기와 비용을 줄이는 데는 물리적 한계가 있다.
이에 최근 렌즈를 얇은 광변조 마스크로 대체하는 렌즈리스 이미징 기법이 주목받고 있다. 렌즈리스 이미징은 렌즈 대신 빛을 변조하는 얇은 마스크를 센서 앞에 두고 측정하는 방식으로, 렌즈모듈의 두께와 초점거리도 함께 줄어들어 기존 카메라의 물리적 한계를 뛰어넘는 초박형 카메라의 제작이 가능하다. 물체의 한 점이 이미지 센서의 한 점으로 매칭되는 기존 카메라와 달리 렌즈리스 카메라는 물체의 한 점이 이미지 센서에서 이차원의 패턴으로 매칭되며, 이미지 센서의 측정값에 추가적인 계산 알고리즘을 적용해 물체의 상을 복원한다.
이러한 렌즈리스 카메라의 성능을 결정짓는 가장 중요한 요소가 위상마스크 구조이다. 위상마스크의 표면에는 미세한 굴곡의 구조가 있어 점광원의 빛이 위상마스크를 통과하면 센서 면에 이차원의 물결무늬의 패턴을 형성하는데, 이를 점확산함수(Point Spread Function, PSF)라고 한다. 이차원의 PSF를 형성할 수 있기 때문에 더 높은 설계 자유도를 가져 더 다양한 위상마스크를 쉽게 제작할 수 있는 기술이 요구되고 있다.
위상마스크의 구조는 임의의 PSF 패턴을 특정 초점거리에서 형성하도록 최적화 문제 기반 알고리즘을 구현해 계산한다. 이렇게 설계된 위상마스크는 마스크리스 그레이스케일 리소그래피(Maskless Grayscale Lithography) 시스템으로 제작된다. 제작된 시스템은 디지털 미소반사 표시기(DMD)를 동적인 마스크로 활용해 이차원 UV광 패턴을 광경화성 수지에 조사하고 다양한 모양의 위상마스크를 단일 노출로 제작할 수 있다. DMD를 동적인 마스크로 활용하기 때문에 즉석에서 다양한 구조의 위상마스크를 설계할 수 있고, 단일 노출로 제작할 수 있어 프로세스가 매우 간단하다. 따라서 기존 나노 공정 제작과 비교했을 때 제작 속도와 비용 측면에서 엄청난 장점이 있다. 더욱이 이 제작 방법은 위상마스크를 이미지 센서 위에 제작하는 방식으로, 이미지 센서 공정과 결합 가능성도 있다.
연구팀은 이 기술을 활용해 다양한 PSF를 가지는 위상마스크를 제작했고, 초박형 카메라를 개발해 디스플레이의 상(Scene)과 실생활의 물체를 촬영했을때 모두 이미징이 가능했다. 또한 본 연구에서는 실시간 복원과 복원 퀄리티 향상을 위해 딥러닝 기반 영상 복원 네트워크를 제시하고 제작의 반복성을 활용해 학습된 네트워크의 전이(transfer)를 보여 준다. 딥러닝 기반 복원을 활용했을 때 수 밀리 초 내에 복원 결과를 출력하고 학습에 사용하지 않은 카메라에서도 기존 복원 알고리즘에 비해 훨씬 더 향상된 이미지 퀄리티의 영상을 얻을 수 있다.
더 나아가 설계된 렌즈리스 카메라는 위상마스크의 점확산함수를 커널로 활용한 광학 정보처리에도 활용될 수 있다. 렌즈리스 카메라는 2차원의 PSF가 물체와 합성곱(convolution)된 형태가 이미지 센서에 측정되는데, 이를 활용해 물체에서 특정 패턴의 일치 여부를 광학적으로 계산할 수 있다. 지문의 일부 특징을 PSF로 가지는 위상마스크를 제작 후 디스플레이에 지문을 띄워 카메라로 촬영했을 때 촬영되는 원본 데이터만으로 지문의 일치 여부를 확인할 수 있다.
연세대 이승아 교수는 “최근 렌즈리스 카메라를 사용한 다양한 스마트 이미징 응용 연구들이 보고되고 있는데, 본 기술을 통해 임의의 전달함수를 갖는 초박형 렌즈리스 카메라를 상용화할 수 있게 됐다. 따라서 광학 이미징을 기반으로 사물 분류, 인식, 검출 등 다양한 목적에 최적화된 초소형 저가 스마트 카메라 모듈을 개발할 수 있을 것으로 기대된다”고 연구의 의의를 전했다.
본 연구는 연세대 이경철 연구원, 경희대 배중현 연구원이 제1주저자로, 연세대 이승아 교수와 경희대 박욱 교수가 교신저자로 참여한 IT 융합 연구이다. 1월 8일 광학 분야 최상위 학술지인 ‘옵티카(Optica, IF 10.644)’에 게재됐으며, 한국연구재단 신진연구(NRF-2021R1C1C101290012), KIST 지원프로그램(2021R1C1C101290012) 지원을 받아 수행됐다.
※ 논문명: Design and single-shot fabrication of lensless cameras with arbitrary point spread functions
