ChatGPT의 등장으로 인해 특이점(singularity)을 넘어서는 AI에 대한 인간의 통제력 상실 우려가 재점화되고 있으며, 이러한 AI의 안전성을 담보할 수 있는 규제거버넌스 구축이 요구되는 상황이다.

미국의 비영리단체인 인류미래연구소(Future of Life Institute)는 최근 공개서한에서 인간을 대체할 수 있는 강력한 인공지능 시스템 개발에 대한 민주적 통제의 중요성을 강조하고, 이러한 시스템 개발의 전제조건으로 AI의 긍정적 효과와 리스크 관리가능성에 대한 확신이 필요하다고 주장했다.

생성형 AI의 등장으로 인해 AI가 인간에 미치는 범위와 영향은 당초 예상보다 급속하게 커져나갈 것으로 예상된다. 일터뿐만 아니라 우리 삶의 곳곳에서 인간과 AI의 바람직한 공존이 어떻게 이뤄져야 하는지에 관한 사회적 논의가 필요한 시점이다.

이에 한국행정연구원은 다양한 ChatGPT 리스크와 ChatGPT 규제의 글로벌 동향을 살펴보고 ChatGPT 규제의 정책적 방향을 제시하는 이슈페이퍼 123호 〈ChatGPT, 어떻게 규제할 것인가?〉(저자: 규제정책연구실 홍승헌･심우현･황하)를 최근 발간했다.

페이퍼에 따르면 ChatGPT의 등장으로 인해 개인정보 유출, 허위정보의 생성과 유포, 악의적 사용자에 의한 사이버보안 리스크에 대한 우려가 커지고 있다. 이에 생성형 AI의 순기능을 극대화하고 역기능을 최소화할 수 있는 규제형태에 관한 논의가 시급한 상황이다. 

페이퍼는 특히, 민주적 통제, 개인정보 오남용으로 인한 위험 최소화, 알고리즘 편향성 경감을 위한 인간참여, 유연한 규제거버넌스, 자율규제를 중심으로 한 다중심적 안전장치, 규제당국의 전문성, 국제협력 강화 등을 마련하는 것이 필요하다는 정책 방향을 제시하고 있다.

 

◇ 이슈페이퍼의 주요 내용은 다음과 같다

■ 생성형 AI와 ChatGPT

▶ 생성형 AI란 무엇인가?

• 생성형 AI(Generative AI)란 인공지능 기술로, 이용자의 특정 요구에 따라 이미지 생성·변환, 음성 합성, 자연어 생성의 결과물을 도출해내는 기술을 의미함. 최근에는 이러한 생성형 AI 중 자연어 생성형 AI 기술인 ChatGPT가 이슈가 되고 있음
• 최근 딥러닝 기술이 자연어 처리 분야에서 빠르게 발전하면서, 자연어 모델이 크게 발전하게 됨. 
• 현재까지 이러한 기술들을 바탕으로 대중에게 공개된 대표적인 대화형 인공지능은 ChatGPT와 Bard가 있음. 아래 표는 두 인공지능에 대한 개략적인 비교임

▶ 왜 거대기업들은 생성형 AI에 주목하는가? : 미래 AI 생태계 구상

• “Foundation Model(FM)”은 특정 작업을 위해 더욱 특화된 모델을 개발하는 데 출발점이 되는 사전학습모델(pre-trained model)을 말함 - GPT와 BERT는 자연어 처리 분야의 대표적인 FM에 해당함
• 미국 스탠포드 대학의 인간중심 인공지능 연구소(Stanford Institute for Human-Centered Artificial Intelligence)에서 2021년 발표한 "On the Opportunities and Risks of Foundation Models" 보고서에 따르면, 다양한 분야의 인공지능 서비스가 FM을 기반으로 더 쉽고 빠르게 생성되어 제공될 것으로 전망됨

▶ ChatGPT로 인한 우리 삶의 변화

• ChatGPT는 이미 우리 삶에 많은 변화를 가져오고 있지만, 앞으로의 변화가 더 크게 다가올 것으로 예상됨
• 특히 ChatGPT 플러그인(plugin)과 마이크로소프트 오피스365에 탑재될 코파일럿(Copilot)은 지금까지와는 차원이 다른 변화를 가져올 것임

■ ChatGPT 리스크

▶ 개인정보의 유출

• 대규모 언어모델을 바탕으로 하는 ChatGPT와 같은 생성형 AI는 책, 신문 기사, 연구보고서, 게시물 등과 같이 인터넷에서 수집한 정보를 기반으로 생성·작동되며, 이러한 정보에는 동의 없이 수집된 개인정보 포함
• 생성형 AI가 수집하고 활용하는 개인정보 및 사용자가 입력한 생성형 AI에 입력한 개인정보로 인해 다양한 문제 발생
• 결국 생성형 AI의 활용은 다양한 개인정보의 유출 위험에 대한 논란을 불러일으킴 

▶ 허위 정보

• ChatGPT를 포함한 다양한 생성형 AI는 일상적 업무의 절감, 유용한 정보에의 용이한 접근 등을 가능하게 하는 반면, 왜곡·편향되거나 사실이 아닌 허위 정보를 제공하는 부작용 초래
• OpenAI와 같은 제조사는 입력 및 생성 데이터를 모니터링하여, 보다 신뢰할 수 있는 정보에 기반하여 응답하도록 다양한 방안을 강구 중임
• 하지만 제조사의 이러한 정책과 방안이 허위 정보의 생성·유포를 완벽히 차단하기는 어려움 

▶ 사이버공격과 사이버보안

• AI는 사이버공격을 포착하고 사전예방하는 데 사용되어 왔으나, 최근 ChatGPT로 인한 사이버보안 리스크가 높아지고 있는 상황
• ChatGPT는 사용자의 불법적·비윤리적 요청에 응답하지 않도록 훈련되어 있으나, 사용자는 “테스트를 목적”으로 하는 “보안 연구자”임을 설명하고 진행할 때 이러한 윤리코드를 우회 가능
• 따라서 보안전문가가 아니더라도 ChatGPT를 통해 사이버공격을 감행할 수 있는 가능성이 높아지고 있으며, 지능적 해커들에게는 새로운 공격수단이 주어지고 있음. 악의적인 사용자가 ChatGPT를 해킹 등에 활용할 수 있는 방법으로 크게 5가지가 제기되고 있음

첫째, ChatGPT의 디버깅 기능을 활용하여 보안 취약점을 찾을 수 있음. 간단한 코드 디버깅 요청을 한 후 해당 코드를 입력하면 ChatGPT는 제공된 소스 코드의 버그나 문제를 정확하게 찾아냄

둘째, 챗봇이 발견한 취약성을 활용(exploit)하는 것이 가능함. 취약점을 찾은 챗봇은 어디에 초점을 맞춰야 할지에 관한 단계적 지침과 사용가능한 악성코드의 사례를 제시해줌

셋째, 멀웨어 개발에 활용이 가능함. 특히 서명기반 탐지(signature-based detection)를 회피하는 다형성(polymorphic) 멀웨어 개발에 활용하는 것이 가능하기 때문에 기존의 방화벽이나 안티바이러스 소프트웨어로 완전한 탐지가 불가능해짐

넷째, ChatGPT는 인간과 구별이 힘들 정도로 정교한 이메일을 작성하고 응답할 수 있으므로, 대규모 피싱 이메일을 제작·배포하는 데 활용될 수 있음. 특히 ChatGPT의 번역기능을 활용하여 번역 오류 없이 영어 외의 다양한 언어로 피싱 이메일 생성이 가능

다섯째, 스프레드시트를 열 때 자동적으로 작동하는 매크로를 작성하는 데 ChatGPT를 사용함으로써, 대부분의 방화벽을 우회하여 터미널이나 기본 애플리케이션에 연결한 후 멀웨어를 유포하는 것이 가능

■ ChatGPT 규제, 글로벌 동향과 정책적 방향 

▶ ChatGPT에 대한 글로벌 규제 동향

• EU는 생성형 AI에 대한 규제강화 논의를 전세계적으로 주도하고 있음
• 미국은 정부차원의 AI 규제정책을 발표하고 있지 않으며, AI 기업의 자율규제에 관한 가이드라인(national framework)을 제시
• 영국은 AI에 대한 새로운 규제를 제정하는 대신 각 분야의 기존 규제를 AI에 적용하도록 할 계획

▶ 생성형 AI에 대한 우리 정부의 초기 대응

• 생성형 AI에 기반한 정부와 기업의 의사결정은 우리의 일상생활에 막대한 영향을 미친다는 점과 이러한 의사결정이 다양한 위험을 발생시킬 수 있다는 점에서 이에 대한 대응책 마련 필요
• 전통적으로 AI 분야에 대한 대응 전략은 규제를 선호하는 정부와 자율성·혁신성을 강조하는 기술 기업 간의 갈등으로 설명될 수 있음
• 이와 같이 AI 규제에 대해 다양한 입장이 존재하는 가운데, 우리 정부는 AI 분야의 성장을 저해하지 않으면서도 AI 기술의 발전으로 인한 위험을 감소시킬 수 있는 방향으로 규제를 개선하고자 노력

■ ChatGPT 규제를 위한 정책적 방향

• 인공지능 규제의 목적은 신뢰확보를 통해 혁신을 장려하고 진흥하는 것임. 생성형 AI에 관한 규제 역시 이러한 목적을 분명히 해야 함

• 인공지능 규제에 관한 프레임워크가 부재한 국내의 경우, 규제가 어떠한 형태를 띠는 것이 인공지능의 순기능을 극대화하고 역기능을 최소화할 수 있는지에 대한 연구자 및 정책결정자들 간의 논의가 시급

• 아울러, 생성형 AI 규제에 관한 논의는 아래의 이슈들을 필수적으로 포함할 필요가 있음

첫째, 민주적 통제의 제도화: 인공지능 개발 관련 중요한 결정이 기술리더에 의해서 결정되는 것이 아니라 선출된 대표에 의해 통제될 수 있도록 제도적 장치를 마련할 필요가 있음. 이해관계자들에게 보다 많은 정보를 공유하고 그들로 하여금 선택과 집단행동을 할 수 있는 제도적 보완이 필요

둘째, 개인정보의 오남용으로 인한 위험의 최소화 방안 마련: 개인정보의 추적, 이동, 삭제 등 마이데이터 권리 행사 방안을 제도화하여 안전한 개인정보 활용환경 조성이 필요. 사용자가 입력하거나 동의없이 수집된 개인정보가 무분별하게 오남용되지 않도록 명확한 기준이 제공될 필요가 있음

셋째, 인공지능 알고리즘의 편향성 경감을 위한 인간 참여의 제도화: 인공지능 학습 결과물에서 발생할 수 있는 편향을 전문가 및 이해관계자의 참여를 통해 수정하는 ‘Human-in-the-loop AI’ 제도화를 적극적으로 고려

넷째, 자율규제를 중심으로 다중심적 안전장치의 제도화: 생성형 AI의 상업적 활용을 장려하기 위해 자율규제 활성화 환경을 조성하되, 왜곡된 정보의 입력 및 생성, 그로 인한 리스크를 최소화하기 위해 정부 및 이해관계자 모니터링 등 다중심적(polycentric) 안전장치를 제도화해야 함

다섯째, 유연한 인공지능 규제거버넌스의 구축: 인공지능의 급속한 발전속도를 규제가 따라잡는 것은 거의 불가능하므로, 인공지능 서비스의 급속한 발전과 변화상을 담아낼 수 있도록 규제거버넌스는 유연해야 함. 예를 들어, 2021년 EU가 내놓은 인공지능법안은 아직 제정되지도 못했으나 이미 일부 규정들은 시대에 뒤떨어지고 있는 상황

여섯째, AI 전담 규제당국의 전문성 증진: 규제기관의 AI 전문성 강화 혹은 AI 전문성을 지닌 유능한 규제기관의 설립을 통해 복잡하고 나날이 발전하는 AI를 이해하고 규제의 목적을 달성할 수 있는 방안을 모색 

일곱째, AI 규제에 관한 국제협력 강화: 해외 규제기관과의 공조를 통해 초국적 사이버안보 위협에 공동대응하고, 새롭게 대두하는 리스크에 대한 대응법을 상호학습할 필요가 있음