열한번 째 강의: 전략적 그림

들어가기

 

이 장에서 보스트롬은 초지능 에이전트의 개발과 그 활용에 대한 정책기술 및 전략적 방향을 다룬다. 결론의 전 단계이지만, 사실상 결론 부분에 해당한다. 대단히 유의미한 결론을 기대하면 실망하게 된다. 읽지 않아도 충분히 예측 가능한 논평이기 때문이다.

단적으로 정리해 보자. 초지능의 등장은 현 인류가 감당할 수 없는 존재적 위협을 초래할 수 있기에, 지금 충분한 시간적 여유를 가지고 대비해야 한다는 것이다. 이게 무슨 말인가? 이것은 해결방안이 아니라, 일종의 공지이다. ‘내일 태풍이 올지도 모르니, 모두 조심하세요’라는 기상청 공지의 문법이다. 일기예보라면 모를까, AI 특별 전문가의 문법으로는 유명세에 미치지 못한다.

일단 보스트롬의 논의를 요약해 본다. 보스트롬은 초지능의 개발이 가져올 가장 위험한 시나리오를 제시하고, 그에 대한 대응책을 공개 제안한다. 초지능을 공유제로 인식하자는 것이다. 공공재산, 공유지, 공공건물, 주로 이런 단어들이 우리에게는 익숙한데, 공유재라니? 이 단어는 다소 설명이 필요해 보인다. 공유재, 어떤 특징이 있을까?

 

첫째, AI 개발은 전 인류의 과제로 설정해야 한다. 처음에는 도덕적 규범처럼 약한 고리로 묶인다. 이후 공동 작업에 익숙해 지면, 국제기구처럼 국가 간 협약을 통해 개발 속도 및 안전장치에 대한 논의가 가능해질 것이다. 세계 평화와 안전을 보장하고 국제 협력을 증진하기 위해 설립된 UN를 떠올리면 쉽게 이해될 수 있겠다. 엊그제 신문을 보니, AI 안전성 확보 방안에 대한 첫 국제회의가 영국에서 진행돼 어느 정도 성과를 남겼다고 한다. 하지만 AI분야를 아울러 세계적인 공감대를 형성하기에는 아직 갈 길이 멀어 보인다.

 

둘째, 개방성이다. 이 프로젝트를 개발자 간에 개방적 공동 작업으로 발전시켜 초지능에 대한 긍정적, 부정적 잠재력을 모두가 분담하자는 것이다. 대략 이미지를 떠올리면, 오픈AI(OpenAI) 정도가 되겠다. 프렌들리 AI를 제고하고 개발함으로써 전적으로 인류에게 이익을 주는 것을 목표로 하는 인공지능 연구소이다. 특허와 연구를 전문가들에게 공개함으로써 다른 기관들 및 연구원들과 자유로이 협업하는 것이다.

 

셋째, 패권에 대한 경계이다. 특정 집단에 의한 초지능 에이전트의 독점은 인류에게 치명적 결과를 낳을 수 있다. 이 경우는 AI 개발의 최악의 수가 되겠다. 사실 보스트롬이 우려하는 바도 이것이다. 어떤 식으로든 이 경우만은 막아야 한다는 것이다. 어떻게 생각하는가? 실현 가능할까? 직접 논평해 보기 바란다.

 

Unsplash 라이선스

 

---

변화된 현실

 

사피엔스는 진화된 현실이다. 일단 종교적 관점은 배제하기로 한다. 진화의 과정은 단선적이지도 균일하지도 않았다. 인지혁명, 농업혁명, 산업혁명, 다양한 변신의 단계를 거쳤다고 하나, 거시적 관점에서 보면 생활방식에서 큰 차이가 없었다. 인간은 예나 지금이나 생물학적 한계 내에서 사유했다. 또한, 그 한계로부터 삶의 지혜를 찾기도 했다. 인간의 조건은 한계가 아니라, 인간성을 규정하는 배경이 된다.

 

메멘토 모리. 고대 로마 시대, 전쟁에서 승리한 장군이 개선 행진을 하면서 외쳤던 라틴어라고 한다. 죽음을 기억하라, 그런 의미이다. 승전한 영웅 그대여! 영광의 이 순간에도 유한한 인간의 본분을 잊지 말라. 삶의 의미를 각성시키는 지혜의 언어이다. 지금도 여전히 지혜로 통하는 경구이니, 많은 세월이 흘렀어도 여전히 변하지 않는 무언가가 있어 보인다. 5만 년 전에는, 1,000년이라는 세월 동안 단 하나의 중요한 기술적 발명도 이루어지지 않았다. 보스트롬의 예시이다.

그런데 현대는 다르다. 이 거시적 구조의 발전 속도가 매우 빨라졌다. 한 세대 안에 경험할 수 있는 변화량이 과거 몇 세대보다 훨씬 더 많아졌다. 가속도도 계산되어야 한다. 보스트롬은 인류의 기술적 역량의 성정만큼 위험성도 높아졌다고 진단한다.

 

보스트롬은 두 종류의 위험 신호를 구별한다. 상태적 위험과 단계적 위험이 그것이다. 상태적 위험이란 어떤 상태에 놓여 있기 때문에 발생하는 위험을 말한다. 시스템이 노출되는 전체 상태적 위험의 양은 시스템이 그 상태에 얼마나 노출되어 있는지에 대한 함수가 되겠다. 자연재해를 떠올리면 쉽다. 지진, 화산폭발, 태풍, 해일, 기후변화, 심지어 코로나와 같은 대규모 전염병의 발생은 상태적 위험군에 속한다.

상태적 위험군에는 인위적 갈등도 포함된다. 러시아-우크라이나 전쟁이 계속 지속될수록 핵전쟁의 위험성은 높아진다. 이스라엘과 팔레스타인 갈등의 심화는 세계대전의 가능성을 지속적으로 높인다. 남과 북의 군사적 대치상태가 길어질수록 제2의 한국전쟁 발발의 가능성도 그에 비례해서 올라가게 된다.

반면 단계적 위험은 상태적 위험과 다소 다르다. 단계적 위험이란 가치 있는 전이(transition)와 관련된 별도의 구별된 위험을 말한다. 일단 전이가 완료되면, 위험은 사라지지만 그전까지 그 위험이 가속화될 수 있다.

하인리히 법칙(Heinrich's law)이라는 것이 있다. 한 번의 큰 사고가 있기 전에, 그와 관련된 작은 사고나 어떤 징후들이 먼저 일어난다는 법칙이다. 큰 재해와 작은 재해, 사소한 사고의 발생 비율이 1:29:300이라는 점에서 ‘1:29:300 법칙’으로 부르기도 한다. 사소한 문제를 내버려 둘 경우, 대형 사고로 이어질 수 있다는 점을 밝혀낸 것이다. 하인리히 법칙은 보험회사에는 신주 모시듯 하는 원칙이다. 대형 인재사고 예방에 위해 중요하게 고려되는 개념이기도 하다.

 

세월호 사건, 이태원 참사 등 우리의 국가 안전관리 시스템은 여전히 불안해 보인다. 누구의 잘못일까? 희생자에게 이러한 질문은 별 의미가 없다. 그래도 확실히 짚고 넘어가야 유사한 사고를 최대한 예방할 수 있다. 이태원 사고 지점은 이전부터 사고 위험지역으로 분류되었다고 한다. 무슨 의미인가?

이미 이전에 자잘한 사고가 많았을 것이다. 하지만 그런 징후에 대한 경각심이 없었고, 또한 대규모 인파가 몰리리라는 것에 대한 행정적 고려도 부재했다. 사실상 국가행정의 총체적 부실이라고 볼 수 있다. 어떤 경우에도 국가의 책임을 면할 수 없다는 뜻이다.

보스트롬은 초지능의 개발을 단계적 위험 대상으로 분류한다. 다른 의미로 말하면, 시간적 여유를 가지고 단계적으로 차분하게 대응해야 한다는 뜻이다. 대응 시기는 이르면 이를수록, 대응방식은 더 근본적이어야 한다는 것이다.

 

최악의 시나리오

 

보스트롬은 초지능의 개발을 단계적 위험군으로 분류한다. 초지능의 개발이 가져올 이로움에 대한 분석은 이 책을 통틀어서 거의 발견할 수 없다. 그것의 개발이 가져올 최악의 시나리오가 보스트롬의 무의식을 지배하고 있기 때문이다. 그런데 한번 생각해 볼까? 어떤 이로움이 있을까? 상태적 위험과 단계적 위험을 뒤집어 보면, 대략 그림이 그려진다. 양면을 잘 봐야 한다. 그래야 위험에 대한 대비도 근본적으로 된다.

단계적 위험에서 개발 속도는 딜레마처럼 보인다. 일단 비무장 지대 지뢰밭을 우사인 볼트급으로 통과한다고 해서 사고 확률이 줄어들지 않는다. 오히려 천천히 한발 한발 걸어가는 것이 더 안전해 보인다.

그럼에도 초지능 개발에 인류가 공동으로 대응하게 되면, 그 전체적 그림을 그리는데 속도를 낼 수 있다. 체계적으로 대응하는 데도 유리할 것이다. 일단 개발 속도와 안전은 반비례 관계에 놓여 있다. 시간적 여유가 충분하다면, 단계적으로 그 대응방식을 마련할 수 있기 때문이다. 그러나 이 또한 전제가 필요하다. 초지능의 개발은 전 인류의 과제로 설정되어야 한다는 것이다. 보스트롬이 이렇게 글로벌 공동 작업을 제안한 데에는 나름의 근거가 있다. 언급했듯이, 최악의 시나리오를 염두에 둔 것이다. 보스트롬은 가상의 인공지능 군비 경쟁을 대표적 예로 든다. 일반적으로 경쟁의 원동력은 어떤 프로젝트가 다른 프로젝트에 의해서 추월당할 것을 두려워하면서 발생한다.

 

대표적인 예가 핵무기 경쟁이다. 냉전 시대 미국과 소련이 핵무기 개발 경쟁을 벌였던 때를 생각해 보면 쉽게 읽힌다. 그 결과가 러시아와 미국 핵무기 숫자이다. 두 나라가 보유한 핵무기 갯수는 대략 10,000개가 넘는다. 만개라? 지구라는 행성을 우주의 먼지로 만들어 버릴 수 있는 숫자이다. 핵무기를 왜 그리도 많이 개발한 것일까? 어차피 쓰거나 쓰지 않거나, 둘 중의 하나인 무기일 뿐이다.

경쟁이라는 것이 그렇다. 안전한 공존을 도모하기보다, 더 유리한 고지를 점하기 위해 핵무기 개발을 가속화시킨 결과인 것이다. 보스트롬은 이러한 현상을 <위험 톱니바퀴>라고 부른다. 한쪽으로만 돌아가도록 설계되어 있어서, 경쟁자를 따라잡기 위해 위험부담을 가중시키는 현상을 말한다. 핵무기 경쟁은 당시 패권 국가였던 미국과 소련이 주로 주도했다. 양자 간의 문제였기에 핵무기 감축협상도 비교적 복잡하지 않았다. 반면 초지능 에이전트 개발 경쟁은 다자간의 경쟁으로 진행될 것이다. 국가와 집단이 모두 참전할 수 있으니까. 핵무기보다 더 치명적이고, 그 해결방안이 더 복잡하다는 의미이다.

보스트롬은 특히 악성 집단에 의한 초지능의 소유를 경고한다. 무슨 일이 벌어질지 아무도 장담할 수 없는 고밀도 상태적 위험에 놓이게 되는 것이다. 굳이 길게 설명할 필요는 없어 보인다. 테러 집단이 핵무기를 보유한 것보다 더 위험하다고 보면 될 것이다. 흥미로운 지적이 있다. 단계적으로 초지능 개발과정에서 상대에 대한 무차별적 공격이 치열해질 것이라는 지적이다. 초지능의 특성상 2등은 없다. 삼성과 대만의 TSMC가 반도체 공급 순위를 두고 한판승을 벌이고 있다. 그저 하청업체에 불과하다고 여겼던 TSMC가 어느덧 삼성을 따라잡았다. 여기서 계속 밀리면, 삼성은 미래가 없다. 반도체 경쟁에서 국제적 공존이란 의미가 없다. 그런데 상대와의 경쟁에서 이기는 가장 손쉬운 방법은 무엇일까? 승자독식의 경쟁에서 최선이 무엇인지를 우리는 <오징어 게임>에서 배웠다. 경쟁상대를 제거하는 것이다. 미사일 공격은 재래식 수단이고, 지금은 랜섬웨어 공격이나 해킹, 인재 빼가기, 핵심 기술 도용, 뭐 이런 것들이 유효할 수 있겠다.

어쨌든 초지능의 특성상 경쟁 자체는 <오징어 게임>이 될 가능성이 높다. 2등 혹은 3등이 존재적 가치를 얻지 못할 경우, 경쟁은 오로지 하나의 푯대를 향해 달려가는 폭주 기관차가 될 것이다.

 

공유재의 원칙

 

결론적으로 보스트롬은 초지능이 오직 인류 공동 이익과 가치를 실현하기 위해 공유재로 개발되어야 한다고 제안한다. 전 인류가 초지능의 잠재력과 위험을 분담한다는 생각을 이른 단계부터 확립하는 것이 중요하다는 것이다. 시간이 지나면 지날수록 왜 초지능이 인류의 공동 이익에 연계되는지 관련 분야 선두주자를 설득하기가 어려워지기 때문이다. 관련 분야 국제기구를 설립할 때도 이러한 공동 작업의 경험이 큰 역할을 할 수 있을 것이다. 텍스트의 구절을 직접 인용해 보자.

 

“초지능은 오직 인류 공동이 이익을 위하고 널리 공유되고 있는 도덕적 이상을 펴기 위해서 개발되어야 한다.”(447)

 

공유재의 원칙은 국제법과 같은 법적 효력을 발휘하는 강력함을 의미하지는 않는다. 일종의 단계적 초기 대응이라고 볼 수 있다. 아직 초지능이 등장하기 전이니만큼 도덕적 약속이기에 관련 분야에서 활동하는 집단이 쉽게 받아들일 수 있기도 하다.

시간이 흐르면서 합리적 의사소통을 통해 국제법과 조약으로 발전하면 된다. 다소 모호한 형태로 출발하는 것이지만, 궁극적으로는 일련의 특정한 검증 가능한 요건을 이용하여 잘 다듬으면, 쓸만해 질 수도 있을 것이다.

어떤가? 다소 나이브해 보이는 제안인 듯싶다. 앞서 언급했듯이, 대단한 것을 기대한 독자라면, 실망스러운 결론 부분이다. 하지만 이것을 보스트롬의 문제라고 볼 수는 없다. 어차피 오늘날 인류가 초래한 대부분의 단계적 위험들은 가장 오래된 수학 난제만큼이나 풀기 어렵다. 아니 잘못 말했다. 수학 난제는 세기의 천재가 나오면 풀릴 가능성이라도 있지만, 인류의 문제는 개인이나 집단이 해결할 수 있는 사안이 아니다. 더욱이 이 책은 글로벌 경제, 문화, 정치가 무난하던 시대에 기술되었다. 보스트롬의 생각도 이러한 시대적 경향에 문제의식 없이 편승한 것이다. 초지능 에이전트의 개발이 인류의 존재적 위협과 연계되어 있으니, 그 대응도 그에 준해야 한다는 상식이다.

그런데 현재 지구촌 상황에서 다시 보스트럼의 생각을 들어보면 어떨까? 쉬운 일이 아니다. 세계화는 이미 돌이킬 수 없을 만큼 붕괴하였고, 늘 그랬던 것처럼 우리에게 익숙한 패권의 시대로 다시 돌아갔다. 패권의 시대? 혹은 신패권주의? 시대 코드로 적합할까? 이번 주 주제 발표로 부여해 보았다. 이 책의 주제와는 별 연관이 없지만, 초지능 개발이 국제적 공동 작업을 전제한 것이라면 나름 의미가 있다. 예측 가능성의 조건이 되기 때문이다. 현 상태에서 남한과 북한이 인류의 현안을 두고 머리를 맞댄다? 의미 없는 상상일 것이다. 미국과 중국도 마찬가지이다. 미국과 러시아는 우크라이나 전쟁의 양상에 따라 협상의 여지가 열려있기는 하다. 왜 우크라이나가 아니라 미국일까? 핵무기 개발 경쟁 이후 대부분의 전쟁은 패권 국가 간의 대리전이었기 때문이다. 한국전쟁도, 베트남 전쟁도, 그리고 지금 세계 경제를 흔들고 있는 우크라이나 전쟁도, 이스라엘 팔레스타인 분쟁도 큰 틀에서 보면 패권 전쟁의 연장선이다. 초지능 에이전트를 둘러싼 개발 경쟁은 어떨까? 과연 신패권의 시대를 뚫고 길을 찾을 수 있을까? 이 문제도 기말과제 에세이 포함시켜 본다. 오늘 수업 여기까지이다.