언어모델, 사람과 소통하다
상태바
언어모델, 사람과 소통하다
  • 고현석 기자
  • 승인 2023.03.18 21:06
  • 댓글 0
이 기사를 공유합니다

[KISTI 이슈 브리프] 과학기술인프라, 데이터로 세상을 바꾸다

 

자연어(natural language)는 의사소통뿐만 아니라 사고의 과정과 지식의 표현 및 보존에 사용되는 매우 중요한 자연 발생적 기초 체계이다. 자연어를 컴퓨터가 이해하거나 생성할 수 있도록 하는 학문 분야를 자연어처리(natural language processing, NLP)라고 한다. 자연어처리는 기계번역, 문서요약, 음성인식, 정보추출, 질의응답 등 다양한 분야에 응용될 수 있어 매우 중요하다. 하지만 자연어가 갖는 특징인 중의성, 예외 규칙, 유연성과 확장성 등으로 인해 자연어처리는 다른 분야에 비해 특히 어려운 연구라 할 수 있다. 

여러 접근 방법 중 하나인 언어모델(Language Model, LM)은 언어를 이루는 구성요소(글자, 형태소, 단어, 문장, 문단 등)에 확률 값을 부여하고 다음 구성 요소를 예측하거나 생성하는 모델을 말한다. 언어모델의 구축은 최근 딥러닝 기술의 발달로 인해 성능이 급격히 좋아지면서 활발히 연구되고 있으며 시장 전망도 매우 밝다. 또한 텍스트 위주의 연구 및 활용에서 생물학적 변이 정보, 이미지, 음성 등의 다른 형태의 데이터 및 인식 기술과 조합하여 활용 범위가 매우 넓어지고 있다.

이에 한국과학기술정보연구원(KISTI)은 딥러닝 기반의 언어모델들에 대한 설명 및 최신 언어 모델 개발 동향과 언어모델을 활용한 다양한 서비스들에 대해 소개하는 이슈 브리프 〈언어모델, 사람과 소통하다〉를 지난달 말 발간했다. 

보고서는 사람만큼 자연스러운 AI의 등장과 핵심 기술의 독점화를 예상하며 이에 따른 시사점을 제시했다.

보고서에 따르면 AI 서비스, 연구 등에 기반 기술이 되는 초대형 언어모델을 개발하기 위해서는 다수의 AI 전문 인력, 초거대 텍스트 데이터, 그리고 AI 모델을 학습하기 위한 슈퍼컴퓨터(HPC) 급의 하드웨어 인프라가 필요하기 때문에 거대 자본의 투입이 불가피하다. 따라서 글로벌 초대형 자본에 의한 기술 독점화의 가능성이 높다고 예상했다.

현재의 글로벌 언어모델들은 대부분의 언어의 차이에서는 장벽이 존재하지 않기 때문에 한국어 정보에만 집중하는 한국형 언어모델들보다는 글로벌 거대기업의 주도에  대응하기 위해 국내 기업과 AI 연구진들이 함께 대안을 마련할 필요가 있다고 제언했다.

또한 인간스러운 AI의 등장에 따라 이제는 기술적인 측면이 아니라 윤리적인 측면에서 그리고 어떠한 특성에 따른 편향과 차별을 최소화하도록 올바른 AI를 개발하기 위한 노력이 필요하다고 강조했다. 이는 AI 기술 자체의 발전과 함께 AI를 윤리에 맞도록 알맞게 개발/활용하는지에 대해 판단할 수 있는 기술 개발 또한 불가피함을 시사한다

■ 언어 모델 개발 동향

▶ 딥러닝 기반 언어 모델의 인간 언어 능력 돌파

ㅇ 트랜스포머 기반 혁신
2015년 컨벌루션 뉴럴네트워크 기반 ResNet이 비전 분야에서 사람의 인지 성능을 넘어선 이후, 2019년 언어 분야에서 트랜스포머의 인코더 부분을 활용하는 BERT 계열의 언어 모델이 사람의 언어 인지 성능을 돌파함.

▶ 언어 모델의 무어의 법칙: 모델과 데이터 크기 증대를 통한 성능 향상

ㅇ 초대형 언어모델
언어모델의 성능 발전에 있어 모델의 크기(학습 파라미터 수) 증대와 학습 데이터의 양 증가를 기반으로 꾸준히 성능이 향상됨. 2020년 모델 크기 175 billion의 GPT-3는 우수한 작문 실력을 갖추도록 학습되었으며, 해당 모델 학습을 위해 필요한 GPU 자원은 상상을 초월함. 

▶ 최신 언어 모델 개발 동향

ㅇ 글로벌 언어모델 동향
최근 등장하는 모델들은 모델 크기의 증대 및 학습 데이터 크기가 어느 정도 컨버즈 되어가는 양상을 보임. 최근 Flamingo, Dalle등의 모델은 비전-언어 모델로 퓨샷 러닝2)으로 텍스트를 이미지로, 이미지를 텍스트로 해석이 가능함. 

그림 7은 언어 모델 크기가 어느 정도 컨버즈 되는 형태의 최근 모델 크기변화를 반영하고 있음. 특히 ChinChilla는 모델 크기는 70B이지만, 학습 토큰의 수를 1.5 Trillion으로 증대시켜 모델 크기가 1/4인 Gopher에 비해 언어이해 태스크에서도 향상된 성능을 확인. 다음 세대 언어 모델은 검색기능과 결합한 모델이 되어야 한다는 주장이 최근 Purdue의 Dangqui Chen 교수의 주장임. 출처) https://super.gluebenchmark.com/leaderboard/ 

ㅇ 글로벌 언어모델 트렌드에 따른 국내 동향
언어모델은 초거대 언어모델 개발 트렌드에 따라 막강한 자원을 소유한 글로벌 빅테크 기업들을 위주로 많은 발전이 이루어져왔음. 국내 빅테크 기업들 또한 한국어 기반 초거대 언어모델을 차례로 발표해왔으며 이에 그치지 않고 언어모델 기반 서비스 사용화를 위해 경량화, 최적화 기술 및 AI 윤리에 관한 관심과 노력을 기울이고 있음. 

 

■ 언어 모델 개발 동향

▶ 언어 처리 중심 사례

ㅇ 다목적 챗봇
자연어 생성모델을 기반으로 활발히 개발되기 시작한 챗봇은 간단한 질의응답 수준의 대화형 서비스 수준을 넘어서 수학문제 해결, 작문, 코딩, 번역, 교육 등의 서비스를 제공하는 다목적 도구로 활용될 수 있음을 보임.

ㅇ 스마트 비서/스피커
애플의 스마트 비서 시리를 시작으로 하는 스마트 비서/스피커는 발화 의도를 이해하기 위한 과정에서 자연어 이해에 우수한 성능을 보이는 언어모델을 활용함.

ㅇ 기계번역
기존 통계기반 방식이 주를 이루던 기계번역은 신경 번역모델을 적용함으로써 더 많은 언어쌍에 대한 번역 제공과 자연스러운 번역 품질을 제공함.

▶ 응용 영역으로 활용 사례

ㅇ 신약개발
단백질 구조 예측에 있어 언어모델 활용은 많은 시간과 비용을 감소시키면서 실제 실험결과 수준의 성능을 달성하였으며, 단백질 구조 생성에도 활용되어 단백질 기반 신약 개발이 적극적으로 이루어질 것으로 예측되고 있음.

ㅇ 수학문제풀이
언어모델의 추론 성능은 아직 인간 수준에 도달하지 못했지만 일부 수학 및 과학 영역에서 양적추론의 성공적인 결과를 보이며 자동화된 추론 시스템 개발의 발전 가능성을 보임.

출처) Aitor Lewkowycz et al. (2022)

ㅇ 로봇 제어
언어모델을 기반으로 실시간으로 자연어 명령을 이해하며 인식된 명령에 따라 제어를 위한 코드를 스스로 작성하여 상호작용함으로써 범용 로봇제어를 가능하게 함. 

ㅇ 코드 작성
언어모델기반 코드 작성은 간단한 코드 작성 및 자동완성도구 수준에서 최근 더 복잡한 문제 해결이 가능한 수준에 이르러 개발자 보조도구 및 프로그래밍 자동화에 활용될 수 있음을 보임.

ㅇ 인공지능 창작
입력된 자연어 문장을 언어모델로 이해하여 이를 토대로 새로운 글, 그림, 영상을 창작하는 생성모델들이 각 영역에서 활발히 발표되고 있음.

■ 언어모델 개발 및 활용에 따른 시사점

▶ 글로벌 초대형 자본에 의한 기술 독점화

ㅇ 초대형 언어모델의 개발은 다수의 AI 전문 인력, 초거대 텍스트 데이터, 그리고 AI 모델을 학습하기 위한 슈퍼컴퓨터(HPC) 급의 하드웨어 인프라가 필요하기 때문에 거대 자본의 투입이 불가피함. 즉, 이를 감당할 수 있는 대기업의 자본에 의해서만 개발과 운영이 가능함을 의미하며, 점차 유료화 됨에 따라 자본의 흐름은 선점 기업들이 독차지 할 가능성이 높음.

ㅇ 현재의 글로벌 언어모델들은 대부분의 언어의 차이에서는 장벽이 존재하지 않는 것이 현실임. 한국어 정보에만 집중하는 한국형 언어모델들이 언어 이해/생성 우수성, 정보 경쟁력 측면에서 해외 선점 모델을 제압하지 못할 가능성이 농후함. 글로벌 거대기업의 주도에  대응하기 위한 국내 기업과 AI 연구진들이 함께 대안을 마련할 필요가 있음.

▶ 인간스러운 AI 등장에 따른 이슈

ㅇ 인공지능이 발전함에 따라 사람보다 많은 지식, 신속한 처리를 통한 정확한 예측, 정교한 제어가 가능해짐. 이제는 기술적인 측면이 아니라 윤리적인 측면에서 올바른 AI를 개발하기 위한 노력이 필요한 순간에 직면해 있음. 이는 성별, 연령, 장애, 지역, 인종, 종교, 국가 등 어떠한 특성에 따른 편향과 차별을 최소화하도록 개발해야함을 의미함.

ㅇ 너무나도  인간스러운 AI의 등장은 사람들의 의사소통에 개입하여 더욱 혼란스러운 세상을 초래할 수 있음. 이는 AI 윤리, 독점화 등과 맞물려 있으며, AI 기술 자체의 발전과 함께 AI를 윤리에 맞도록 알맞게 개발/활용하는지에 대해 판단할 수 있는 기술 개발 또한 불가피함을 시사함.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
주요기사