■ 열린연단: 문화의 안과 밖 <문화정전 제 34강>_ 장병탁 서울대학교 교수의 「인공지능의 미래: <슈퍼인텔리전스>」
네이버문화재단의 <열린연단: 문화의 안과 밖> 일곱 번째 시리즈 ‘문화정전’ 강연이 매주 토요일 서울의 네이버 파트너스퀘어 종로에서 진행되고 있다. 인류 문명의 문화 양식은 오랜 역사를 통해서 문화 전통, 사회적 관습으로 진화하며 인류 지성사의 저서인 '고전'을 남겼다. 이들 고전적 저술 가운데, 인간적 수련에 핵심적이라 받아들여지는 저술을 문화 정전(正典)이라고 할 수 있다. 전체 52회로 구성된 이번 시리즈는 인류가 쌓아온 지적 자산인 동서양의 ‘문화 정전(正典)’을 통해 오늘을 사는 현대인들이 마주한 삶의 문제를 깊숙이 들여다본다. ‘주제 5. 근대 과학과 인간의 삶’ 제 34강 장병탁 교수(서울대 컴퓨터공학부)의 강연을 발췌 소개한다.
정리 고현석 기자
사진·자료제공 = 네이버문화재단
인공지능의 미래: <슈퍼인텔리전스>
장병탁 교수는 궁극적으로 “미래 인공지능 시대에 인간의 삶은 어떻게 달라질 것”인지 묻는다. 그에 대한 답을 찾는 하나의 실마리로 닉 보스트롬(Nick Bostrom)의 『슈퍼인텔리전스』라는 책을 들어 인공지능(AI)과 관련된 여러 논의를 펼친다. 무엇보다 역사적으로 선행한 다른 기술 혁명들과 달리 “디지털 기술에 기반한 지금의 AI 혁명은 폭발적일 가능성”이 매우 큰 만큼 다양한 이슈가 제기될 수 있는데, 그 같은 논란 거리들을 살펴보기 위해서 인공지능의 현재 수준을 그려보는 것을 시작으로 지능 대확산과 초지능(슈퍼인텔리전스) 실현 여부를 검토한 다음 초지능이 가져올 위험성과 그 통제 방법까지 아울러 들여다본다.
1. 들어가는 말
최근 인공지능은 빠른 속도로 발전하고 있다. 특정 분야에서 인간을 능가하는 인공지능들이 등장하고 있다. 그렇다면 과연 언젠가는 인간이 하는 모든 영역에서 사람을 능가하는 인공지능, 초지능(슈퍼인텔리전스, superintelligence)이 등장할 것인가? 디지털 기술에 기반한 지능 기계 즉 디지털 지능의 하드웨어적, 소프트웨어적 다양한 특성과 재귀적 자기 개선 시스템의 특성이 결합되면 지능 폭발의 빠른 도약이 일어날 가능성이 크다.
초지능 AI가 등장하게 되면 그 위험성은 무엇인가? 우리가 초지능의 위험성을 통제할 수 있을 것인가? AI에게 인간 사회의 시대적인 가치 기준이나 윤리성, 도덕성을 탑재할 수 있을 것인가? 미래의 초지능 시대에 인간은 인공지능과 어떻게 공존하며 살아야 할 것인가?
2. 인공지능의 현재 수준
인공지능은 컴퓨터의 발명을 계기로 사람처럼 생각하는 기계를 만들려는 야심 찬 프로젝트로 시작하였다. 컴퓨터의 아버지로 불리는 튜링이 1950년에 《마인드(Mind)》라는 저널에 기고한 「컴퓨팅 기계와 지능」이라는 논문에서 사람처럼 질문에 대답하는 생각하는 기계의 아이디어를 제안하였다. 막상 “사람의 지능과 같은 지능을 기계에 구현하는 연구”로서의 ‘인공지능’이라는 말은 1956년에 만들어졌다.
인공지능은 지금까지 두 가지의 패러다임을 탐구하였다. 초기에는 사람의 지식을 기계에 프 로그래밍해줌으로써 기계를 똑똑하게 만드는 연구를 하였다. 지금은 기계가 데이터로부터 학습 하여 스스로 지식을 습득하도록 한다. 전자의 방법을 지식 기반 시스템이라 하고, 1세대의 기호주의 인공지능으로도 불린다. 후자의 방법은 머신러닝 시스템으로 최근 딥러닝을 통해서 빠르게 발전하고 있다.
학습 기반의 AI가 과거에 풀지 못한 난제를 해결한 성공 사례는 다양하다. 2005년에 네바다 사막에서 자율주행 자동차 대회 다르파 그랜드 챌린지(DARPA Grand Challenge)가 열렸다. 스탠퍼드 대학교의 AI 랩에서 개발한 스탠리 자율주행 자동차는 132마일을 6시간 정도에 완전 자율주행으로 완주하여 우승하였다. 아마존은 2014년에 알렉사라는 AI 스피커를 발표하였으며 후에 이를 많은 가정에 보급한다. 최근에는 알파폴드라는 AI를 만들어 과학계에서 난제로 남아 있던 단백질 3차 구조 예측 문제에서 새로운 성과를 제시하였다.
이러한 성공의 배경에는 딥러닝 혁신이 있다. 딥러닝은 머신러닝의 일종으로 아주 많은 수의 신경층으로 구성된 딥신경망 구조의 학습 모델이다. 모델의 복잡도가 커서 아주 복잡한 입출력 간의 함수적 관계를 학습해낼 수 있으며, 이는 심층신경망 학습에서 발생하는 오차 희석 문제를 알고리즘적으로 해결하고 최근 컴퓨팅 파워가 커져서 학습이 가능한 데 기인한다. 학습 방식으로 인공지능을 개발하는 것의 과거 규칙 기반 인공지능 시스템에 비해서는 혁명적인 발전이다. 왜냐하면 과거에는 사람이 아는 지식을 규칙 형태로 컴퓨터를 프로그래밍함으로써 인공지능을 개발하였는데 이는 기껏해야 인간만큼만 잘할 수 있는 한계가 있었다. 그런데 머신러닝 방식의 인공지능은 AI가 데이터로부터 스스로 학습을 하며 지식을 축적해갈 수 있기 때문에 끊임없이 성능이 향상되는 장점이 있다. 학습 방식은 귀납적인 추론을 사용하기 때문에 데이터에 있는 정보를 넘어서 새로운 지식을 만들어낼 수 있어서, 많은 데이터를 관측하면 결국 사람을 능가할 수 있는 것이다. 알파고는 학습 방식의 인공지능이 인간 수준을 뛰어넘을 수 있다는 것을 바둑에서 명확히 보여주었다. 마찬가지로 AI 분야에서의 다양한 난제들, 예를 들어서 영상 인식, 음성 인식, 기계 번역 등에서 새로운 돌파구를 가져왔다.
3. 인간 수준의 인공지능
인간이 하는 다양한 영역에서 사람과 같은 일을 처리하는 인공 일반지능(artificial general intelligence, AGI)이 가능하기 위해서는 디지털 지능이 동적으로 변화하는 불확실성이 큰 환경에서 빠르고, 유연하고, 안정적으로 학습하고 행동할 수 있는 기술이 필요하다.
인간 수준의 AI에 도달하기 위해서는 먼저 인간 수준의 머신러닝이 필요할 것이다. 머신러닝은 문제 해결에 필요한 (ⅰ) 파라미터화된 프로그램 구조와 (ⅱ) 최적화 알고리듬이 주어지고, (ⅲ) 정확히 기술된 목표 함수를 사람이 정해주면, (ⅳ) 사람이 제공한 학습 데이터를 이용하여 (ⅴ) 목표 함수를 최적화(최대화 또는 최소화)함으로써 주어진 문제를 푸는 프로그램을 자동으로 생성한다. 이 방법은 네 가지 면에서 확장될 수 있다. 첫째, 프로그램의 구조를 사람이 모두 설계해주는 대신에 기계가 자동으로 설계하는 것이다. 둘째, 다양한 최적화 알고리즘이 연구되어 있으며 가장 적합한 방법이 무엇인지를 기계가 시험하여 최선의 방법을 선택할 수도 있다. 이와 같은 방법은 최근 AutoML이라는 방법으로 이미 연구되고 있다. 또한 최근 컴퓨팅 파워의 발전을 통해서 (ⅴ)의 최적화 문제도 상당히 해결되었다. 인공지능이 인간 수준에 도달하려면 (ⅲ)과 (ⅳ)에서 자율성을 가질 수 있어야 할 것이다. (ⅲ)은 AI가 스스로 목표를 정하고 수정하는 자기 성찰 능력과 관련이 있고, (ⅳ)는 그 목표를 달성하기 위한 방법을 스스로 찾아내는 능력과 관련된다.
학습의 관점에서 인공지능의 수준을 다음과 같이 6개의 단계로 나누어보자.
단계 1 [Human Programming]: 문제 해결 방법을 사람이 프로그래밍한다. 기계는 효율적으로 실행한다.
단계 2 [Deep Learning Agent]: 수단(학습 데이터)이 주어지고 기계가 방법(문제 해결 알고리즘, 프로그램)을 스스로 찾는다. 어떤 질문에도 대답해주는 오라클(Oracle).
단계 3 [Self-supervised Learning Agent]: 수단(학습 데이터)을 AI가 스스로 만들어낸다. 24시간 연속 학습, Embodied Learning, 명령을 실행하는 지니(Genie).
단계 4 [Self-reflective Learning Agent]: 목표(목적함수)를 AI가 스스로 설정한다. 장기적 목표를 추구하며 세상에서 자율적으로 행동하는 AI, 자주적 개방형 작동 시스템 소버린(Sovereign).
단계 5 [Human-Level Learning Agent, Human-Level AI]: 풀고자 하는 문제 또는 임무(미션)를 기계가 스스로 설정한다. 영역 일반 인공지능(AGI).
단계 6 [Superhuman Learning Agent, Superintelligence]: 단계 5의 수행에 있어서 인간을 능가한다. 자기 보호와 자기 복제를 하며 종족을 보존하는 진화적 AI, Collective AI.
단계 5는 인간 수준의 인공지능이다. 이는 인간 수준으로 학습이 가능하며 인공 일반지능(AGI)으로 부를 수 있을 것이다. 인간 수준 AI에 도달하는 방법은 여러 가지가 있을 수 있다. 한 가지 방법은 씨앗 인공지능(Seed AI)을 만들어서 이를 발달시키는 방법이다.
단계 6은 모든 면에서 인간 수준을 뛰어 넘는 지능을 보이는 슈퍼인텔리전스 즉 초지능의 단계이다. 지금처럼 인공지능이 발전한다면 언젠가는 인간의 지능을 능가하는 인공지능이 출현할 것이라고 많은 사람들이 예측하였다.
5단계는 인간 수준 AI이다. 이제 5단계에서 6단계의 초지능으로의 전이를 살펴보자.
4. 지능 대확산과 초지능
초지능은 다양하고 보편적인 인지 영역에서 현시대의 가장 뛰어난 인간보다 훨씬 더 뛰어난 지능체를 일컫는다. 초지능에 대한 이 개념을 초지능적 역량군으로 나누어 살펴볼 수 있다.
하나는 속도적 초지능이다. 속도적 초지능은 인간과 비슷한 수준의 지능을 갖추었지만 속도가 훨씬 더 빠른 것을 말한다. 초지능의 또 다른 형태는 작은 단위의 지능체들을 여러 개 모아 더욱 뛰어난 능력을 보이는 것이다. 이 집단적 초지능의 예로는 회사, 학회, 국가 등이 있다.
또 다른 형태의 초지능은 질적 초지능이다. 이는 적어도 인간의 정신만큼 빠르고 질적으로 그보다 훨씬 더 똑똑한 시스템을 일컫는다.
디지털 지능은 하드웨어적인 측면에서 자연지능에 비해 다양한 장점들을 가지고 있다. 연산 속도뿐만 아니라 메모리 용량에 있어서도 디지털 지능은 계속 작업 기억 용량을 확장할 수 있어 인간들이 느릿느릿하게 계산을 해야만 간신히 다룰 수 있는 복잡한 관계들을 더 큰 작업 기억 용량 덕분에 직관적으로 이해할 수도 있을 것이다.
이 밖에도 기계지능은 하드웨어적인 측면에서 다양한 강점들이 있다. 생물학적 뇌는 신뢰성이 낮고 몇 시간의 작업으로 피로해지며 사용 시간이 수십 년이 지나면 비가역적으로 파괴되기 시작한다. 마이크로프로세서는 이러한 한계가 없다. 기계지능에 정보를 더 빨리 입력하려면 수백만 개의 센서를 더 연결하는 것으로 얼마든지 가능하다. 또한 주어진 과제의 필요에 따라서 하드웨어의 구조를 재구성함으로써 변경과 확장이 가능하다. 이에 반해서 생물학적 뇌는 주어진 하드웨어의 변경의 가능성이 제약되어 있다.
디지털 지능은 하드웨어뿐만 아니라 소프트웨어적인 측면에서 다양한 장점을 가지고 있다. 한 가지는 수정 능력(editability)으로서 소프트웨어상에서는 변수들을 조절하며 실험을 마음대로 해볼 수 있다. 디지털 지능은 복제성(duplicability)이 뛰어나다. 디지털 지능은 목표 조정(goal coordination)이 비교적 용이하다. 또한 디지털 뇌는 기억 공유(memory sharing)가 용이하다.
이제 디지털 지능의 다양한 잠재적 강점들을 바탕으로 기계들이 인간 수준의 일반적인 추론 능력을 갖추게 되었다고 하자. 그러면 그 이후 얼마나 빨리 초지능에 다다를 수 있을 것인가? 이는 천천히 진행될 수도 있고 아주 급작스럽게 폭발적으로 나타날 수도 있다. 지능의 변화율=최적화 능력/저항성으로 표시될 수 있는데 여기서 저항성이 적거나 최적화 능력이 커지면 지능의 변화율이 커지는 것을 알 수 있다.
초지능에 도달하기 위한 단계를 두 개로 나누어 볼 수 있는데, 첫 단계는 도약이 일어나기까지의 준비 단계이고, 두 번째 단계는 도약 과정이다. 도약이 일어나기까지는 상당히 오랜 시간이 걸릴 것이라고 생각할 수 있지만, 일단 도약이 일어난다면 그 과정은 상당히 빠를 것으로 보인다.
초지능에 도달하는 한 가지 방법은 인간 수준의 지능에 도달한 첫 번째 인공지능의 알고리즘을 개선하는 것이다. 그러나 이것 외에 다른 방식으로 인공지능의 지능을 끌어올리는 것이 더 쉬울 수도 있다. 즉 인공지능은 콘텐츠와 하드웨어의 개선이라는 다른 두 가지 측면으로도 향상될 수 있다. 콘텐츠는 시스템의 핵심적 알고리즘 구조를 이루고 있지 않은 소프트웨어 부분으로서 지식, 학습 데이터, 라이브러리와 같은 것이다. 시스템을 더 똑똑하게 만드는 것뿐만 아니라 시스템이 알고 있는 것을 더 늘리는 방법으로도 시스템의 문제 해결 능력을 향상시킬 수 있다. 인공지능의 수행력을 증가시키는 제3의 방법 즉 하드웨어를 향상하는 방법도 있다. 똑같은 소프트웨어를 사용하더라도 보다 다양한 상황들에 대해서 계산할 수 있는 컴퓨터를 추가하는 것만으로도 집단적 지능을 향상시킬 수 있는 것이다. 또한 좀 더 빠른 컴퓨터로 프로그램을 옮기는 것만으로도 속도적 지능을 높일 수 있다. 더 많은 프로세서를 이용하여 병렬 처리를 수행함으로써 속도적 지능을 더욱 향상할 수 있다. 클라우드 컴퓨팅 서비스를 향상하여 연산 자원을 증가시킬 수 있는 방법도 열려 있다.
도약의 속도는 또한 최적화 능력에 비례하는데, 전이 기간 동안 투입되는 최적화 능력이 향상될 것이다. 초지능의 도달 가능성이 커지면 프로젝트의 내부와 외부로부터 지원되는 최적화 능력의 양이 증가는 것으로 즉 기존의 연구자들이 더 열심히 일할 수도 있고, 더 많은 새로운 연구자들이 고용되어 투입될 수도 있으며, 연구 과정을 더 빠르게 수행하기 위해서 더 큰 연산 능력을 가진 기기가 구입될 수도 있다. 더 나아가서 성장의 분기점에 도달하면, 시스템에 가해지는 최적화 능력의 거의 대부분이 시스템 그 자체로부터 발휘될 수 있을 만큼 시스템의 능력이 충분히 증가될 것이다. 이는 알고리즘을 개선하거나 과다 누적된 콘텐츠 또는 하드웨어를 보다 더 효율적으로 이용함으로써 가능할 수도 있다.
5. 초지능의 위험성과 통제 방법
초지능체가 생기게 되면 선두 주자가 전략적 우위를 차지할 수 있다. 또한 전략적 우위를 획득한 초지능체는 독점적인 지배 체제를 획득할 수도 있다.
디지털 초지능적 에이전트가 탄생하면 이들은 다음과 같은 여러 가지 초능력(superpower)을 가질 것이다. (ⅰ) 지능 증폭, 시스템 스스로 지능을 강화시킬 수 있는 능력, (ⅱ) 전략 수립, 예측에 기반하여 전략을 수립하여 먼 미래의 목표를 달성하는 능력, (ⅲ) 사회적 조정, 인간 집단과 국가들을 설득하고 지지를 얻어 어떤 행동을 취하도록 하고 외부 자원을 끌어오는 능력, (ⅳ) 해킹, 컴퓨터 시스템의 보안상의 취약점을 찾고 이를 이용하는 능력, (ⅴ) 공학 기술 연구, 발달된 공학 기술을 설계하고 발전 경로를 모형화함, (ⅵ) 경제적 생산력, 기술들을 경제적으로 생산력이 있도록 활용하는 능력과 같은 것이다.
인공지능에 의해 통제력을 장악하는 시나리오를 한번 생각해보자. 순차적으로 네 개의 단계를 생각해볼 수 있다. 먼저 1단계는 임계 지점 전 단계로, 과학기술적 연구 작업들이 누적되면 서 씨앗 인공지능의 탄생으로 이어진다. 씨앗 인공지능은 스스로의 지능을 개선시킬 수 있다. 2단계는 순환적 자기 개선 즉 도약 단계이다. 어느 순간에 이르면 씨앗 인공지능은 인공지능 설계에서 인간 프로그래머를 능가하여 스스로 시스템을 개선하는 능력 자체를 개선시키게 된다. 빠른 순환적 자기 개선 주기가 계속적으로 이어지면서 인공지능의 역량이 급상승하는 지능 대확산이 일어나게 된다.
3단계는 잠복하는 계획 기간으로서 인공지능이 전략 수립 초능력을 이용해서 장기적인 목표를 달성하기 위한 탄탄한 계획을 세운다. 인공지능은 가상 영역 바깥에서도 자신의 의도를 실현시킬 방법들을 가지게 될 것이다. 4단계는 표면화된 실행 단계로서, 인공지능이 더 이상 비밀리에 일을 진행할 필요가 없이 자신의 목적을 완전히 직접적으로 실행할 수 있게 된다.
이제 자신의 목표에 맞게 미래를 주무를 수 있는 능력을 가진 초지능이 어떤 동기와 목표를 가지게 될 것인가를 생각해보자. 그런데 인공지능은 인간 중심적 목표와 완전히 동떨어진 목표를 가질 수도 있다. 에이전트에게는 사람과 같은 생존 본능은 아니더라도, 미래 지향적인 목표를 달성하기 위해서 미래까지 존속할 “도구적” 이유가 생길 것이다. 필요한 경우 자신의 기억을 바꾸고, 필요한 기술을 다운로드하며, 자신의 인지적 구조나 성격을 완전히 수정하는 것도 가능하다. 어느 정도를 보전하고 어느 정도를 수정할 것인지 균형을 맞추는 것이 중요하다. 또한 에이전트의 의사 결정 능력을 향상시키기 위해서는 에이전트의 인지 능력을 향상하는 도구적 목표를 세울 수 있다. 기술 개선과 자원 획득 또한 에이전트가 추구할 도구적 목표가 될 것이다.
초지능 에이전트들이 이러한 목표를 가진다면 지능 대확산은 존재적 재앙으로 귀결될 위험성이 있다. 힘이 약할 때는 인공지능이 협조적으로 행동하지만, 힘이 충분히 강해지면 경고 없이 독점적 지배 체제를 형성할 수도 있기 때문이다. 기계 초지능을 개발하는 연구는 다양한 이유로 실패할 수도 있다. 예를 들어, 프로그래머들이 인공지능으로 하여금 “우리가 행복해지도록 해달라”는 목표를 추구하도록 할 수 있다고 가정해보자. 초지능은 하나의 답으로 “인간의 뇌의 쾌락 중추에 전극을 이식한다”라는 답을 제시할 수도 있을 것이다. 다른 목표로 “양심의 고통을 느끼지 않게 행동하라”라는 목표를 주었다고 하면, 답으로 “죄책감을 불러일으키는 인지적 시스템을 제거한다”라는 답을 제시할 수도 있는 것이다.
이제 지능 대확산으로 존재적 재앙을 일으키는 위협을 느낀다면 그 재앙을 피할 방법은 없을까? 지능 대확산의 시작과 그 과정을 통제할 수는 없을까? 그 대응책은 크게 능력 통제와 동기 선택으로 나누어볼 수 있다. 능력 통제 방법은 초지능이 할 수 있는 일을 제한함으로써, 원하지 않는 결과가 나타나는 것을 막으려는 방법이다. 이러한 방법으로는 초지능을 해를 끼칠 수 없는 환경에 넣어두는 것(격리 방법)이나 아니면 유해한 행동을 할 수 없는 강력한, 수렴하는 도구적 이유를 제시하는 것(유인 방법) 등이 있다. 또한 초지능의 내부적 역량을 제한하는 것(지연)일 수도 있으며, 격리 실패나 일탈 시도 등과 같은 다양한 실패 상황들을 자동적으로 감지하고 반응하는 메커니즘(인계철선)도 포함될 수 있을 것이다.
동기 선택 방법은 초지능이 하고자 하는 것을 잘 조율하여, 원치 않는 결과를 도출되는 것을 예방하려는 통제 방법이다. 동기 선택에는 명시적으로 목표를 정하고 또 따라야 하는 규칙들을 설명하는 방법(직접 명시), 또는 암시되거나 간접적으로 형성된 기준에 따라 인공지능이 스스로 적절한 가치 체계를 발견할 수 있도록 시스템을 구성하는 방법(간접적 규범성)이 있을 수 있다. 동기 선택의 또 한 가지 방법은 그다지 대단하지 않고 야망이 크지 않은 목표를 가지도록 시스템을 만드는 것이다(국소주의). 아무것도 없는 상태에서부터 새로운 동기 체계를 생성하는 방식에 대한 대안으로, 이미 허용할 수 있는 동기 체계를 가지고 있는 에이전트를 선택하여, 에이전트의 동기 체계가 왜곡되지 않게 하면서 그의 인지 능력을 향상시켜 그것을 초지능으로 만드는 방법도 있을 수 있다(증강).
인공 에이전트에게 어떻게 가치를 부여하며, 어떻게 그 가치를 최종 목표로 삼도록 할 수 있을까? 초지능에 가치를 탑재하는 문제는 중요하면서도 어려운 문제이다. 초지능이 처할 수 있 는 모든 상황들을 열거하여 각각의 상황별로 어떤 행동을 취해야 하는지 일일이 정해주는 것은 불가능하다. 그리고 모든 가능한 세계들을 열거하여 각 세계에 걸맞는 가치를 탑재하는 것도 불가능하다. 한 가지 방법은 특정 상황에서 에이전트가 어떻게 행동할지 스스로 결정할 수 있도록 해주는 좀 더 추상적인 공식이나 규칙 즉 효용함수를 정의해주는 것이다. 효용 최대화 에이전트의 기본 틀을 이용해서 프로그래머가 인공지능이 추구하기를 바라는 인간의 가치를 넣어주는 것이다.
그러나 일반적으로 인간의 최종 목표를 식별하고 코딩을 하는 것 자체도 굉장히 어렵다. 인간의 목표를 표현하는 것이 복잡하기 때문이다. 인간 프로그래머가 어떻게 이 복잡한 것들을 효용함수로 전환시킬 수 있을까? 하나의 방법은 인공지능이 추구하기를 바라는 목표를 모조리 그대로 코딩하려고 노력하는 것이다. 그러나 적절한 인간의 가치를 장려하거나 보호하고자 할 때라든지, 초지능적인 자율 에이전트 구축을 기획할 경우에는, 목표를 설명하는 표현을 완벽하게 구체적으로 코딩하는 것이 거의 불가능한 일일 것이다. 다양한 가치 탑재 기술이 있을 수 있다. 명시적 표현 방법, 진화적 선택, 강화 학습, 결합된 가치 부여, 동기 부여적 임시 가설, 가치 학습, 에뮬레이션 조정, 제도 설계 등이다.
지금까지 목표 시스템에 어떤 내용들을 넣을 것인지에 대해 다양한 옵션을 살펴보았다. 인공지능의 행동은 다른 설계 요소들의 영향도 받게 된다. 중요한 설계 요소 중의 하나는 인공지능이 어떤 의사 결정 이론을 사용하도록 하느냐이다. 그 옵션으로는 인과적 의사 결정 이론, 입증적 의사 결정 이론 등이 있다. 또한 어떤 인식론을 쓰느냐에 따라서 큰 차이를 보일 수도 있다. 실증적 가설을 평가할 수 있는 원칙과 기준을 지정해주는 인공지능의 인식론을 선별하는 기본적인 선택 방법을 채택할 필요가 있다. 베이즈의 정리의 틀 안에서는 인식론을 사전 확률함수 즉 선험적 기능으로 삼을 수 있다. 인지적 증거를 고려하기 전에 인공지능이 가능성이 있는 세계에 대해서 확률을 부여하는 기능이다. 다른 틀에서는 인식론이 다른 형태가 될 수 있다. 또한 중요한 질문으로는 과연 인공지능의 계획을 실행시켜보기 전에 인간의 검토와 승인을 거치게 할 것인가 하는 것이다.
고도로 최적화된 설계를 만들지 않아도 된다. 대신에 고도의 신뢰성을 가진 설계를 만들어 스스로의 실패를 인정할 수 있는 충분한 분별력을 갖추도록 해야 한다. 믿을 만한 토대를 갖추었지만 완벽하지 못한 초지능은 점차 스스로를 수정해나갈 것이고, 이 과정이 끝나면 마치 처음부터 완벽했던 것처럼 세상 속에서 이로운 최적화 능력을 발휘할 것이다.
6. 인공지능 시대의 인간의 삶
미래 인공지능 시대에 인간의 삶은 어떻게 달라질 것인가? 인공지능은 인간을 도와주는 도구일까, 아니면 우리의 일자리를 빼앗아가는 경쟁자일까? 친구나 동반자일까, 아니면 우리를 위협하거나 착취하려는 악당일 것인가? 우리는 인공지능을 얼마나 신뢰할 수 있을 것인가? 어떻게 하면 인공지능이 유해하지 않고 유익한 도우미나 동반자가 되게 할 수 있을 것인가? 툴, 오라클, 지니, 소버린으로서의 AI를 인간이 잘 가르치고 통제해서 활용할 수 있는 방법에 대해서 알아보자.
단기적으로 보면 인공지능은 사람의 문제 해결을 도와주는 소프트웨어 툴의 역할을 할 것이 다. 툴 AI는 자신만의 의지를 가지지 않는다. 생각과 욕구를 가지고 인조인간처럼 행동하는 인공지능이라기보다는, “프로그래밍한 그대로 작동하는” 보통의 소프트웨어이다. 현재 사용되는 많은 인공지능이 툴의 역할을 한다. 툴은 목표 유도적 행동을 보이지 않는 시스템이다. 그러나 툴 인공지능에 대해서도 주의할 필요는 있다. 툴도 초지능의 강력한 탐색 능력을 갖게 되면 위험해질 수도 있다. 1차 탐색 프로세스 실행에 위험할 수 있는 2차적 내부 탐색과 계획 과정을 수반할 수 있기 때문이다.
툴보다 발전된 인공지능은 사람들의 어떤 질문에도 대답해주는 질의응답 시스템인 오라클 이다. 오라클은 격리시켜 국소주의를 적용함으로써 위험성을 통제할 수 있다. 인간의 의도와 이해관계를 이해할 필요성이 적다. 운영자의 오용에 대한 제한적인 보호책이 가능하다.
명령 실행 시스템인 지니 형태의 AI를 생각해보자. 지니는 복잡한 명령을 받아 실행한 뒤 다음 명령을 받을 때까지 기다린다. 명령의 문자적 뜻보다는 원래의 의도와 이해관계를 오라클 보다는 이해할 필요성이 크다. 이상적인 지니는 자기중심적인 학자이기보다는 만능 집사일 것이다. 지니의 경우 초지능의 위험성을 방지하기 위해서는 미리 보기를 가능하게 하거나, 답의 영향이 사전에 지정된 재앙 기준을 충족하면 답변을 거부하는 지니를 만들어 운영자의 오용에 대한 제한적인 보호책을 둘 수 있다. 지니를 물리적인 조종 장치에 직접 접근시키면 물리적인 세계에서 일을 수행하게 할 수 있다.
가장 자율성을 많이 가진 초지능체는 자주적 개방형 작동 시스템인 소버린이다. 소버린은 범위가 넓고 장기적일 수도 있는 목적을 달성하기 위한 광범위한 개방형의 지시를 따르는 시스템이다. 소버린에게는 대부분의 능력 통제 방법을 사용할 수 없다. 인공지능이 인간의 의도와 이해관계를 이해할 필요성이 매우 크다. 다양한 형태의 동기 부여 시스템을 가동하거나 미리 보기와 후원자 승인 과정을 적용하여 통제할 수 있다. 후원자에게 상당한 권한을 줄 수 있고 실행 이후 오퍼레이션의 장악이 불가하며, 오용 보호책이 설계 가능하다. 지니와 오라클은 시스템을 통제하는 사람에게 엄청난 권위를 부여하는데, 반면 소버린은 한 사람이나 집단이 결과에 특별한 영향을 끼칠 수 없고, 이에 따라 초기 의제를 변경하거나 변질시키려는 어떤 의도도 거부할 수 있도록 설계될 수 있다.
