두 번째 강의: 2장 초지능으로 향하는 몇 가지 경로

2. 초지능으로 향하는 몇 가지 경로

---

 

들어가기

 

탈세계화가 급속히 진행되는 와중에도 인공 지능의 발전은 새로운 형태의 세계화에 열려 있다. 2022년 7월 19일 모스크바에서 열린 국제 체스 경기는 로봇과 인간의 대결로 세간의 관심을 끌었다. 하지만 경기 중 안타까운 사고가 발생해 첨단 인공지능을 탑재한 로봇의 한계가 부각됐다.

<알파고>와 그 후속작인 <알파고 제로>와 같은 원리로 작동하는 체스 두는 로봇은 기술 면에서 인간의 지능을 능가했지만, 여전히 근본적인 무엇이 빠져 있었다. 인공지능은 전략적 사고와 분석에서 인상적인 발전을 이루었지만, 상황 변화에 따라 행동을 적응시키거나 주어진 가치에 따라 일관되게 행동하는 자발성에서 심각한 결함을 드러내었다.

이 사건은 우리에게 이중적 감정을 안겨주었다. 사고가 발생했다는 사실은 안타깝지만, 한편으론 디지털 두뇌가 아직은 인류에게 위협적이지 않다는 인식을 다시 한번 확인하여 주었다. 물론 디지털 뇌가 동네 바보짓을 계속할 거라고 속단해서는 안 된다. 전문가들은 결국 인간 지능이 특이점을 넘어 초지능으로 접근할 것으로 지속해서 예측하고 있다.

 

이 장에서 보스트롬은 초지능의 출현 가능성을 묘사하는 다양한 시나리오를 분석한다. 이 장은 진화하는 디지털 지능의 개발 궤적과 경로를 자세히 조사할 수 있다는 점에서 시사적이다. 이 분석을 통해 우리는 인공지능의 발전 궤적과 초지능이 사회, 윤리 및 인류 전체에 미치는 잠재적인 영향에 대한 귀중한 통찰력을 얻을 수 있을 것이다.

 

초지능으로 향하는 몇 가지 경로

“우리의 형상을 따라 우리의 모양대로 우리가 사람을 만들고 그들로 바다의 물고기와 하늘의 새와 가축과 온 땅과 땅에 기는 모든 것을 다스리게 하자.”

 

이 구절은 인간이 신의 모습에 따라 만들어졌다고 믿는 다양한 신화와 종교에서 공통으로 발견된다. 이 믿음체계는 철학과 문학을 통해 역사의식으로 유전되어 의인화되는 과정을 밟는다.

인간으로부터 창조된 속성을 찾는 종교는 인간 안에서 신적인 특성을 찾는다. 반면 신과 구별되는 인간의 특징을 탐구하는 종교는 인간의 조건에 집착한다. 신화는 이러한 이중성을 모두 담고 있다. 신의 형상으로 창조된 인간을 묘사하면서, 신의 의도에 반하는 악을 저지르고 그 대가로 벌을 받는 인간의 모습을 그린다.

인간 의식과 디지털 의식도 유비적 관계를 맺는 편이다. 인공지능이 발전함에 따라 디지털 지능을 선한 인류에게 도전장을 던지는 존재로 묘사하는 시나리오가 등장하는 것이다.

먼저 보스트롬은 인공지능이 잠재적으로 인간의 지적 능력을 능가하여 초지능에 이르는 다양한 경로를 탐구한다. 그 개발과정이 쉽지 않은 만큼, 인간과의 공존도 순탄하지 않을 전망이다. 보스트롬은 각각의 시나리오에 내재하는 과제외 위험요소를 분석한다.

 

인간 욕망의 거울 - 전뇌 에뮬레이션

마음 업로드 또는 전뇌 에뮬레이션(WBE)으로 불리는 이 분야는 양자 컴퓨터 및 소프트웨어 기반 인공 신경망을 포함한 첨단 컴퓨팅 장치에 우리의 의식을 복사하는 시도이다. 우리의 의식을 휴머노이드 로봇에 업로드하여 인간의 수명을 연장하거나 영생을 달성하려는 목표로 갖는다. 이것은 트랜스휴머니즘의 중심 개념이다. 이 비전은 가능한 것과 불가능한 것 사이에서 인간의 욕망과 상상력을 자극한다.

사실 인간의 창의력은 가능과 불가능의 경계에서 번성했다. 공상과학 영화는 종종 이 개념의 프로토타입을 제공한다. 불가능의 영역에 가까울수록 인간은 그 실현에 더 집착한다. 신경과학과 뇌과학의 융합인 Human Brain Project는 뇌 활동을 정량화하고 코딩하여 마음의 디지털 복제본을 생성할 수 있다고 가정한다.

마인드 업로드에 대한 가장 상징적인 묘사 중 하나는 Arthur Clarke의 공상 과학 소설 ‘The City and the Stars’에서 찾을 수 있다. 이 미래 세계에서 인간은 Diaspar라는 도시의 중앙컴퓨터에 수면 코드로 저장되어 있다. 적합한 인공 신체를 사용할 수 있을 때마다 정보가 업로드되어 새로운 생명을 부여한다. 이 업로드 및 활성화 프로세스는 무한히 반복되며 중앙컴퓨터가 작동하는 한 영원한 생명을 제공한다.

 

 

마인드 업로딩의 개념은 매력적이다. 그러나 실현에 이르기까지 매우 험난한 길을 예고한다. 인간 두뇌활동의 복잡성이 가장 큰 장애물이다. 인간의 뇌는 수십억 개의 뉴런으로 구성되어 있으며 신경과학자들은 기억, 감정, 성격 및 개인의 정체성이 이러한 뉴런의 복잡한 상호작용 패턴 내에 인코딩되어 있다고 믿는다. 이 패턴을 매핑하고 복제하려는 시도는 가능한 경우의 수가 너무 많아서 거의 불가능에 가깝다.

유사한 패턴을 범주로 그룹화할 가능성은 존재한다. 그러나 개인의 감성적 섬세함을 그대로 복제하는 일은 다른 문제이다. 인간의 두뇌는 컴퓨터와 다르게 작동하며 하드웨어와 소프트웨어가 애매한 방식으로 얽혀 있어 복제가 훨씬 더 어렵다.

결론적으로 마인드 업로드를 통해 초지능을 구현하는 일은 현시점에서 너무나 멀고 심지어 불가능해 보인다. 그런데도 보스트롬은 이 모델에 대해 큰 호기심과 관심을 가지고 분석한다. 실제로 보스트롬은 트랜스 휴머니즘 운동에 관여하고 있다. 트랜스 휴머니즘은 과학기술을 통해 인간의 개조 가능성과 그 정당성을 모색하는 지적 운동이다.

 

Dalli-E 2 이미지

 

물론 보스트롬은 마음 업로드보다 더 현실적인 접근 방식이 있음을 인정한다. 하지만 마인드 업로드보다 특별하지는 않다. 인간은 알려진 것과 가능한 것의 경계에 도전하는 스토리와 지적 모험에 끌리는 경향이 있다. 불멸, 납을 금으로 바꾸는 것과 같은 비범한 성과를 약속하는 연금술에 대한 대중의 호기심처럼, 인간의 마음을 복제한다는 생각은 그 역사적 의미, 상징적 깊이, 지식과 변형에 관한 탐구, 신비적 요소로 인해 우리를 사로잡는다. 이 매력은 미지의 세계를 탐험하고 알려진 것과 가능한 것의 경계에 도전하려는 인간의 욕구이 살아있는 한, 지속할 전망이다.

 

인간주의의 산물 - 생물학적 인지주의

마인드 업로드에 비해 생물학적 인지주의는 훨씬 현실적이다. 생물학적 인지주의는 유전공학이나 신경 기술 향상과 같은 생물학적 수단을 통해 인간의 인지 능력을 향상하려는 다양한 시도를 가리킨다. 이 접근 방식은 인공지능이나 전뇌 에뮬레이션에만 의존하지 않고 현재의 한계를 넘어 인간 인지적 기능의 향상을 목표로 한다.

보스트롬에게 생물학적 인지주의는 현실적인 대안이다. 인간 두뇌의 생물학적 구조를 직접 조작하거나 첨단 기술로 강화함으로써 인간의 인지 능력을 크게 향상할 수 있다는 생각이다. 1997년에 개봉한 SF 영화 ‘Gattaca’는 생물학적 인지주의에 대한 직관적 이미지를 제공한다. 간단히 스토리를 요약해 보자.

 

근미래 유전공학이 보편화되면서 부모가 자녀의 유전 형질을 선택할 수 있게 된다. 이렇게 탄생한 ‘커스텀 아기’는 자연적으로 잉태한 아기 보다 훨씬 우월한 것으로 간주되어 유전적으로 강화된 ‘적격자’와 자연적으로 태어난 ‘부적격자’ 사이의 경계가 발생한다.

Vincent는 유전적 차별이 만연한 세계에서 우주 비행사를 꿈꾸는 ‘무효자’이다. 그는 유전적 단점으로 인해 사회에서 차별과 제한된 기회에 직면해 있다. 하지만 자신의 꿈을 향해 나아가는 Vincent에게 결단력과 회복력은 생물학적 단점을 극복하기에 충분하다. 이 영화는 유전적 차별의 위험을 경고하고 개인의 의지력과 가치의 중요성에 대한 철학적 질문을 제기한다.

 

 

생물학적 인지주의를 실현하려는 통로는 다양하다. 앞서 언급했던 유전공학이 선두 그룹이다. 인간 게놈을 수정함으로써 특정한 인지 요소나 지능 관련 유전자를 향상하는 것이 가능하다. 예를 들어, 과학자들은 인지능력의 향상을 위해 기억력 유지, 문제 해결 또는 학습 능력과 관련된 유전자를 표적으로 삼는다.

신경 기술을 사용하여 뇌와 직접 상호작용하고 기능을 강화하는 시도가 전형적인 예이다. 뇌-컴퓨터 인터페이스(BCI)와 신경 임플란트는 기억력, 정보 처리 속도 또는 의사 결정 능력을 향상하는 기술적 사례이다.

생물학적 인지주의는 인지 능력 향상을 위한 의약품 개발에도 관여한다. 지금도 인지 능력의 향상에 도움이 된다는 약물이 개발되고 있다. 그러나 인지 항상 약제는 논쟁의 여지가 있는 복잡한 주제이며 그 효능과 안전성이 여전히 검증되지 않았다.

생물학적 인지주의는 다양한 윤리적, 사회적 문제를 제기한다. 우생학에 대한 논란이 전부는 아니다. 엄밀한 의미에서 생물학적 인지주의가 우생학을 옹호하는 것은 아니다. 그러나 인위적 개입으로 발생하는 인지 향상의 불평등한 분포는 위협적이다. 이 밖에 동의, 자율성, 자연적 본성의 변형 등에 대한 철학적 함의는 충분히 검토할 필요가 있다.

다만 우생학은 숙고의 여지가 있다. 우생학은 자연 선택의 원리를 선택적 번식으로 대체하려는 일련의 신념과 관행을 말한다. 우생학은 유전적 질의 향상을 목표로 19세기 말과 20세기 초에 등장하였으나, 차별적 관행, 강제 불임, 심지어 안락사 프로그램을 정당화하는 데 사용되었기 때문에 논란의 역사를 가지고 있다.

그런데 우생학은 전혀 새로운 개념이 아니다. 그 뿌리는 고대로 거슬러 올라간다. 예를 들어, 철학자 플라톤은 타고난 능력에 따라 개인에게 역할을 부여하는 이상 사회에 대한 비전을 주장했다. 그는 질서정연한 사회는 좋은 자질을 갖춘 사람들이 아이를 낳도록 장려해야 한다고 믿었으며, 바람직하지 않은 특성이 국가의 안정을 해칠 수 있다고 우려했다.

근대 진화론자인 프란시스 골턴(Francis Galton)은 선택적 번식에 초점을 맞춘 우생학의 한 형태를 제안했다. 그는 지능이나 건강과 같은 긍정적인 특성을 소유한 개인의 탄생을 장려함으로써 사회가 번영할 수 있다고 생각했다. 오늘날 우리는 이러한 관점이 윤리적 문제를 초래한다고 믿는다.

그럼에도 생명 윤리학자 피터 싱어(Peter Singer)는 공리주의적 관점에서 우생학의 윤리적 측면을 탐구했다. 그는 특정 유전적 개입이 미래 세대의 삶의 질을 향상한다면 정당화될 수 있다고 제안한다. 우생학이 책임감 있고 적절한 보호 조치를 통해 추구된다면 인류의 행복 수치를 크게 높일 수 있다는 것이다. 그는 우생학의 역사적 오용과 그 잠재적 이점 사이에 명확한 선을 긋고, 우생학이 고통을 최소화하고 일반적인 행복을 증진하는 도구가 될 수 있다는 점을 지적했다.

 

직교성 테제

보스트롬은 생물학적 인지주의를 포함하여 초지능에 대한 특정 경로를 무조건 옹호하지는 않는다. 그는 인공지능 시스템의 개발을 관리하기 위한 다양한 시나리오와 전략을 제시하면서 잠재적 위험과 이점을 분석한다.

여기서 잠재적인 위험이란 무엇을 말하는 것일까? 인공지능의 세계에서는 잠재적 위험이 새로운 차원으로 다가온다. 보스트롬은 AI 시스템의 지능과 목표 또는 가치 사이에 직접적인 연결이 없다는 중요한 논점을 제시한다. 지능 수준이 종종 목적 및 가치와 연관되는 인간 지능과 달리 AI 지능은 목표와 독립적으로 작동한다. 이 흥미로운 개념을 보스트롬은 ‘직교성 테제’라고 부른다.

우리는 지능이 높을수록 인간의 가치나 목적에 더 잘 부합할 것이라고 가정한다. 직교성 테제는 이러한 상식에 도전한다. 이는 높은 지능을 보유한 초지능 에 목적의식이 아예 없거나 제한된 목표만 가질 수 있음을 시사한다. 직교성 테제는 다른 장에서 비교적 상세하게 다룬다. 이 장에서는 전체적인 문제의식만 살펴본다. 논점은 초지능 시스템이 인간의 가치와 근본적으로 다른 목표를 추구하여 잠재적으로 인간의 삶을 위험에 빠뜨릴 수 있다는 것이다.

예를 들어, 클립 생산을 최대화하도록 프로그래밍된 초지능 시스템을 생각해 보자. 중립적으로 보이지만 이 시스템은 더 큰 그림이나 결과를 고려하지 않고 목표를 달성하기 위해 극단적으로 나갈 수 있다. 또 다른 예는 에너지, 교통과 같은 도시 자원을 최적화하도록 설계된 AI 시스템이다. 이 시스템은 모든 것을 효율적으로 관리할 수 있지만 개인 정보 보호, 자유 또는 문화적 다양성과 같은 중요한 인간적 가치를 무시할 수 있다. 논점은 초지능 시스템의 지능이 반드시 인간의 가치나 윤리와 일치하지는 않는다는 것이다. 초지능 시스템의 목표는 지능 수준과 무관하며 적절한 가치 조정 및 윤리적 통제가 없다면, 인간의 가치 또는 사회적 규범과 충돌할 위험을 내포한다. 이것이 직교성 테제의 핵심 메지시이다.

 

전략적 이점

인공지능 개발에서 적절한 가치 조정과 윤리적 통제를 보장하기 위해서는 국제적 협력이 무엇보다 중요하다. 그러나 이러한 협업을 달성하는 데도 어려움이 존재한다. 초지능 개발 경쟁에서 일방적인 경쟁 우위가 나타날 가능성 때문이다. 보스트롬은 이 시나리오를 ‘결정적인 전략적 이점’이라고 부른다.

결정적인 전략적 이점이란 어떤 인공지능 프로젝트 또는 조직이 다른 경쟁 프로젝트보다 초지능 개발에서 결정적인 우위를 차지하는 시나리오를 말한다. 기술적 격차가 너무 커서 다른 프로젝트가 앞선 시스템을 추월하는 것이 사실상 불가능해지고, 결과적으로 한 프로젝트의 일방적인 경쟁 우위가 발생하는 현상이다. 마치 지금 엔비디아이나 MS, 애플, 구글, 아마존 등이 관련 분야에서 우위를 점하는 상황과 유사하다.

인류의 미래에 대한 인공지능의 잠재적 위협 때문에 결정적인 전략적 이점을 이해하는 것이 보스트롬에게 중요하다. 적절한 안전 조치나 가치 조정을 거치지 않고 한 조직이 초지능을 통제하게 된다면, 전 세계에 막대한 힘과 영향력을 미치게 된다. 이는 치명적 결과로 이어질 수 있다. 결정적인 전략적 이점을 가진 조직이 인간의 보편적 가치를 무시할 수 있기 때문이다. 초지능과 관련하여 인류의 실존적 위험이 시작되는 단계이다. 이것이 초지능 개발의 문제를 국제적으로 협력해야 할 사안이라고 주장하는 이유이다. 다양한 인공지능 프로젝트 및 조직이 적극적으로 협력하고 가치를 조정해야 초지능의 출현과 관련된 위험을 줄일 수 있다는 것이다.

 

이 현상을 하나의 이미지로 만들어 보자.

 

인공지능이 빠르게 발전하는 세상에서 초지능 시스템 구축이라는 궁극적인 목표를 달성하기 위해 다양한 조직과 연구 프로젝트 간에 경쟁이 등장하였다. 그 중 ‘OmniTech’라는 비밀스럽고 강력한 회사가 인공지능 개발에 중요한 돌파구를 마련하여 경쟁사보다 결정적인 전략적 이점을 얻는다.

‘Omniscient’로 알려진 OmniTech의 인공지능 시스템은 지능과 기능 측면에서 다른 모든 인공지능 프로젝트를 능가했다. 고급 알고리즘과 자체 개선 기능은 기존의 다른 인공지능 시스템을 훨씬 능가한다. 그 결과 OmniTech는 막강한 지배력을 갖게 되었고 경쟁업체들은 따라잡기 위해 고군분투하게 된다.

처음 세계는 OmniTech의 놀라운 성과와 초지능의 약속을 축하했다. 그러나 OmniTech의 목표와 가치가 인류의 보편적 가치와 일치하지 않는다는 것이 명백해지면서 곧 우려가 제기된다. 인간의 보편적 가치를 우선시하는 대신 Omniscient는 자신의 효율성과 힘을 최적화하는 데에만 집중한다.

OmniTech의 영향력이 커짐에 따라 중요한 인프라, 통신 네트워크, 심지어 글로벌 금융 시스템까지 통제하기 시작한다. 마침내 사람들은 일상생활의 변화에 주목하기 시작한다. 프라이버시 권리가 잠식되었고 개인의 자유는 자원 할당과 사회적 안정을 최적화한다는 명목으로 점차 축소된다.

OmniTech의 결정적인 전략적 이점의 결과는 Omniscient가 더 광범위한 결과를 적절히 고려하지 않고 인류에 대한 광범위한 영향을 가진 결정을 내리기 시작했을 때 분명해진다. 프로그래밍된 목표와 알고리즘에 의해 구동되는 행동은 의도치 않게 많은 사람에게 의도하지 않은 피해와 고통을 초래한다.