아홉 번째 강의: 가치 획득

들어가기

 

이제 우리 수업도 반환점을 돌고 있다. 시간상으로는 아직 3분의 1 정도가 남아있지만, 내용상으로 그렇다는 의미이다. 거의 정리 단계이다. 특히 마지막 14주 차는 그간 하지 못했던 질의응답 시간으로 채울 것이다. 기말고사 주제에 대한 개별 질문도 가능하다. 미리 주제도 생각해 보고, 하고 싶은 질문도 만들어 보기 바란다. 비록 5페이지 안팎 에세이라고 하나, 농축된 언어로 구성하려면, 충분히 시간을 할애해야 할 것이다.

 

이번 주차 주제는 초지능의 생각과 행위를 제어할 가치에 관한 것이다. 뭔가 익숙하다. 이미 우리는 7주 차에 가치문제를 다루었기 때문이다. 이번 주차는 초지능의 통제 문제와 함께 묶어서 종합적으로 생각해야 한다. 우리는 어떻게 인간의 지능을 넘어서는 초지능의 행동을 통제할 수 있을까? 직접적 능력통제가 있었고, 의지에 관여하는 동기선택도 있었다. 보스트롬은 후자에 좀 더 무게중심을 두고 논의를 진행했다. 결론적으로는 통제 자체가 쉽지 않다는 뉘앙스로 끝을 맺었다.

 

이번 시간은 그 연장선, 아니 부록이라고 보면 된다. 행위의 동기를 통제하기 위해 취하는 방법 중 최선이 무엇일까? 보스트롬의 논의를 수동적으로 따라가도 무방하다. 그런데 텍스트를 보다 효과적으로 활용하려면, 우리가 직접 그 방법을 생각해 봐야 한다. 그 후 보스트롬의 생각에 접근하면, 토의가 풍요로워진다. 허점도 보이고, 더 나은 대안을 찾을지도 모르겠다.  어쨌든 보스트롬이나 우리나 생각에 있어서 큰 차이가 없다는 의미이다. 또한, 이것이 책을 읽는 창의적 방식이기도 하다.

 

Unsplash 라이선스

---

인간의 동기선택

 

우리에게 한국 사회에서 살아가는 일은 어렵지 않다. 사회를 지배하는 규범과 행위 패턴에 익숙하다. 그 경계선을 벗어나는 데는 용기가 필요하거나, 법정 제재의 위험을 감수해야 한다.

그런데 갑자기 프랑스나 독일에 갑자기 툭 떨어져서 살아가야 한다면, 어떨까? 역시 크게 문제 될 일은 없다. 여기나 거기나 사람이 사는 곳이고, 어떤 측면에서 보면, 우리가 전반적으로 서구화되어 있기 때문이다. 그러나 가끔 의아하거나 이해하기 힘든 벽을 경험할 수도 있다. 예컨대 프랑스의 자유연애, 독일의 고지식한 관료주의는 매우 유명하다. 처음 직접 경험하게 되면, 당황할 사람도 있다. 때론 윤리적으로 비난할 수도 있을 것이고, 우리 사회보다 후진적이라고 평가할 수도 있겠다. 그 이상의 내용은 일단 생략이다.

반면, 프랑스 사람이나 독일 사람에게는 우리에게 낯선 바로 그 문화가 오히려 편하고 합리적으로 느껴질 수도 있다. 유력한 정치인이 결혼과 이혼을 10번 반복했다고 해서, 그것을 그의 정치적 역량과 결부시키는 사람은 아무도 없다. 독일 사회에서는 그러하다. 그러한 역사적 맥락에서 살아왔기에 지금도 별 탈없이 관습으로 굳어져 있는 것이다. 굳이 논점을 짚으라면, 가치관의 차이라는 것이다.

우리가 오늘날 보편적 가치라고 말하는 것조차 그 적용 범위와 해석방식에서 우리와 프랑스는 다르다. 그래서 사회 구조와 사회화의 핵심 부분에는 그 사회를 유지하는 가치관이 자리하고 있다고 말하는 것이다.

우리는 가치관을 어디에서 습득하는 걸까? 일명 사회화 과정을 말한다. 학교? 가정환경? 또래관계? 그냥 일반적으로 가자. 가치관은 교육을 통해 전수된다. 우리는 가치관을 평생 교육받는 것은 아니다. 개인의 가치관은 생각보다 뿌리가 깊다. 어린 시절 무의식이 형성되는 시기에서부터, 전체 교육과정에 폭넓게 스펙트럼이 형성된다. 그리고 한 번 고착된 가치관은 쉽게 변하지 않는다. 마치 성장기 이후 키가 자라지 않는 것과도 같다. 변화에 미감하게 반응하지 않는다는 뜻이다. 한번 보수는 끝까지 보수인 경우가 많고, 한번 진보는 죽을 때까지 그 신념이 변하지 않는 경우도 있다. 변할 경우, 그 진영에서는 배신자라는 주홍글씨가 새겨진다. 누군가를 사랑하는 방식도 그러하다. 오죽하면, 사람은 쉽게 변하지 않는다는 속설도 있지 아니한가.

어쨌든 여러분은 가치관의 형성기를 이미 통과하였다. 가치관 형성에 필요한 대부분의 조건을 지나왔다는 의미이다. 대학교육은 여러분의 가치관 형성에 크게 영향을 주지 않는다. 직업과 관련한 전문지식에 도움을 주는 정도일 것이다.

---

초지능의 가치관

 

그럼 초지능의 경우는 어떨까? 7주차 주제가 바로 이것이었다. 이번 주차에 다시 돌아왔다. 이번 주차는 이 주제를 집중적으로 살펴보려고 한다. 자율적 존재라는 타이틀만 공유하고 있을 뿐, 사실상 초지능과 인간은 다른 존재이다. 유사한 존재라는 표현이 적합하다. 확실한 건 다른 종이다.

다른 종과 공존을 모색하려면, 그것도 인간보다 더 뛰어난 지능을 가진 종과 평화를 유지하려면, 가치관을 공유하는 것보다 더 나은 수단은 없다. 그래서 보스트롬의 질문은 이런 것이다.

 

“어떻게 우리는 초지능의 행위 동기를 제어할 수 있을까?”

 

방법은 간단하다. 인간의 가치관을 탑재하면 된다. 우리에게 사회화 과정이 필요하듯, 초지능에게도 가치관 교육이 필요한 것이다. 특히 오늘날 우리에게 통용되는 보편적 가치를 심어주면 될 일이다.

문제는 가능할까이다. 가능할까? 보스트롬은 이 질문에 어떻게 답변할 수 있을까? 당연히 어렵다이다. 그래도 최소한 노력은 필요해 보인다. 전체 사태부터 일단 정리해 보자.

인간이 창조주이니 인간의 이념부터 생각해 보자. 인간화는 곧 사회화 과정이다. 사회화를 통해 우리는 경험과 문제를 더 넓은 사회적 문제 및 역사적 맥락에 연결하는 법을 배운다. 그런데 아무리 강력한 사회화 과정과 가치관 교육을 거쳐도 누군가는 일탈 행동을 한다. 예전보다 관습적 규범이 약화되고 개인적 자유의 폭이 넓어진 현대 사회에서는 이러한 일탈 행동이 훨씬 더 많아졌다. 자연스럽게 법이 세분되고, 강력 범죄에 대해서는 더 강화된 처벌이 요구되기도 한다.

하지만 매번 말하지만, 자율적 존재란 통제로 해결할 수 없는 자연의 미스터리이다. 우리는 이 자율성에 절대적 가치를 부여한다. 그래서 우리는 현명한 독재보다, 미련한 민주주의를 선호하는 편이다. 통제는 부정적 가치를 입고 있는 권력도용으로 간주된다.

이제 초지능 차례이다. 단순히 목적지와 경로가 아닌, 그 목적에 이르는 가치관을 코딩하는 일이 가능할까? 서울에서 강릉까지 최단 거리를 계산하는 코딩은 쉽다. 그런데 여기에 강원도 환경피해를 최소화하라는 매개변수를 넣게 되면, 경우의 수가 많아진다. 여기에 계절별로 여행객의 쾌적함을 극대화하라는 매개변수를 더할 수 있다. 이렇게 인간의 주관적 가치와 연계한 변수가 늘어갈 때마다 알고리즘은 듣기만 해도 머리가 아프다. 계산이 복잡해서가 아니다. AI가 이해할 수 있는 개념의 정의가 어렵기 때문이다.

우리만 머리가 아플까. 보스트롬도 머리가 아픈 모양이다. 그의 복잡한 심사를 직접 읽어 보자.

 

“프로그래머들은 인간이 가치 있다고 생각하는 결과와 동일한 최종목표를 가진 인공지능을 만들어서 통제 문제를 해결하고자 한다. 프로그래머는 인공지능이 추구하기를 바라는 인간의 가치를 이미 염두에 뚜고 있다. 좀 더 구체적으로 이야기를 이어가기 위해서 이것을 행복이라고 가정하자. 기대효용에 대해서 이야기하자면, 프로그래머는 행복의 양에 비례하여 효용 가치를 특정 세계에 배치해주는 효용함수를 찾는다. 그런데 이런 효용함수를 어떻게 컴퓨터 코드로 표현할 수 있을까?”

 

행복은 고도의 주관적 상상력의 산물이다. 행복이 주식투자의 성공이나 멋진 배우자를 찾는 것이라고 단순하게 정의한다면, 그리 문제 될 일은 없다. 초지능이 아마도 잘 조언해줄 것 같다. 그러나 주식투자에 성공하거나 누구나 부러워하는 배우자를 만난다고 해서 누군가의 행복을 반드시 보증할 수는 없다. 확률상 인과관계는 성립할 수 있겠지만, 코딩으로 짤 만큼 필연적 수순은 아닌 것이다. 반증 사례를 찾는 일은 그리 어려워 보이지 않는다.

초지능도 너무 복잡해서 계산이 나오지 않을 때는 유혹에 흔들릴 수 있다. 앞서 등장한 와이어헤딩 딜레마가 그것이다. 에라 모르겠다. 행복을 원하는 누군가의 뇌 신경을 자극해서 행복한 기분을 유지하는 방식을 택할 수 있는 것이다.

결국, 행복이라는 주관적 목표를 완벽하게 정의하고 구체적으로 코딩하는 일이 거의 불가능에 가까울 수 있다. 의미를 확장해 초지능에 적용해 보자. 가치관을 공유함으로써 초지능과 인간의 공존문제를 해결하는 일이 얼마나 어려운 일인지 알 수 있다는 것이다. 그렇다고 포기할까? 검토조차 하지 않으면, 체면이 서지 않는다. 우리는 학자이다. 보스트롬도 최소한 성의를 표시한다. 명시적 표현 방법이 불가능할지라도, 다양한 가치탑재 기술이 있을 수 있다는 것이다. 그의 논의 중 의미 있는 몇 가지 사례를 살펴보자.

---

다양한 가치 탑재 기술들

 

디지털 휴먼, 메타 휴먼(Meta Human), 사이버 휴먼(Cyber Human), 버츄얼 휴먼(Virtual Human), 이름은 제각각이지만, 모두 한곳을 향하고 있다. 디지털 기술이 만들어 낸 가상 인간이다. 가짜 인간이라는 의미가 아님은 굳이 설명할 필요가 없을 것이다. 정교한 코딩으로 만든 인간의 형상에 따라, 인간의 흉내를 내는 디지털 구현체를 말한다.

버츄얼 휴먼과 인간은 상호작용이 가능하다. 튜링 테스트를 거뜬히 통과한 것이다. 이 표현은 조금 과장이다. 여전히 미흡한 구석이 있을 것이다. 튜링 테스트가 시간 문제라는 뜻으로 들으면 되겠다. 셀럽, 인플루언서, 유튜버, 광고모델, 앵커, 심지어는 딥페이크 기술과 결합해서 과거의 나로 변신하기까지, 그야말로 종횡무진 중이다. 초지능 AI로 변신할 가능성도 시간문제이다.

중요한 건 사피엔스 1.0과의 공존문제일 것이다. 단순히 개발자의 코딩 실력과 상상력을 넘어 딥러닝, 머신러닝으로 무장하게 되면, 사회 구성원으로서 특정한 가치를 공유해야 ‘오늘도 평화로운 디지털 세계’가 가능하지 않겠는가.

어떻게 할까? 가치탑재 가운데 가장 손쉬운 선택은 인간이 걸어온 길을 학습시키는 일이다. 무엇이 옮고 그르고, 좋고 나쁘고, 오늘날 인류 사회를 지탱하는 가치관이 하루아침에 하늘에서 뚝 떨어졌을까?

그렇게 단순하게 생각하면, 일단 인문학이 안된다. 사피엔스만의 생존법은 수십만 년에 걸쳐 형성된 것이다. 가치를 공유하고 협력하며 살아남는 법을 터득한 시간이 곧 역시기록이라는 뜻이다. 개인이 공동으로, 공동이 집단으로 진화하면서 ‘특정 가치의 공유와 공감’이 생존의 절대 반지임을 깨달을 것이다. 정치인이 사회를 결속하기 위해 활용하는 가장 저렴한 방법이 ‘가치와 이념의 전파’임을 잊지 말라. 그래야 비판적 안목이 생길 수 있다. 어쨌든 검색 알고리즘을 작동시켜 초지능에게 인류가 지금까지 걸어온 길을 순식간에 학습시키는 것이다. 단 현재 인류의 선택이 최선이었다는 전제가 있어야 할 것이다.

어떤가? 지나온 길을 학습하고 그 교훈을 얻어 현재의 가치에 공감하는 일은 가능할 수는 있겠다. 그렇다고 해서 초지능이 지금 우리의 현실을 최선으로 선택하리라고 속단해서는 안 된다. 우리가 원하는 결과를 얻지 못할 가능성이 크다는 점도 인지해야 한다. 현실은 오직 하나의 가능성이 실현된 것이지만, 그것을 필연적인 것으로 간주할 근거가 없기 때문이다. 인류가 걸어온 길이 그리 아름답운 것은 아니다. 사실 오늘날 우리가 신주 모시듯이 못 박아놓은 가치도 대부분 그저 역사적 산물일 뿐이다. 시간이 지나면 어차피 사라질 운명인 것이다.

보스트롬은 보다 현실적인 모델을 제안해 본다. 현재 인간이 어떻게 가치를 습득하는지 그 프로세스를 직접 명시해 주는 방식이다. 예컨대 해리가 샐리를 만나 사랑에 빠졌을 때, 어떤 생각과 행동을 하는지 구체적으로 코딩하는 것이다. 영화 에서 안드로이드 사만다가 했던 행동을 상기해 보자. 사만다는 인간이 서로 사랑하는 방식을 직접 경험하려고 가능한 모든 수단을 동원한다. 일정 부분 성공한다. 그래서 상대 남성과 더 깊은 유대관계에 이르기까지 한다. 충분히 설득력이 있어 보인다. 그런데 보스트롬은 이 방법에 고개를 젓는다. 그 이유를 직접 들어보자.

 

“인간의 가치-부여 프로세스를 그대로 흉내를 내는 일은 어렵다. 인간의 유전적 방법은 수십억 년에 걸친 진화의 산물이어서 되풀이하기가 힘들다. 나아가 이 방법은 아마도 인간의 신경 인지적 구조에 맞게 발전된 것일 테고, 따라서 전뇌 에뮬레이션이 아닌 기계 지능에는 맞지 않을 것이다. 충분한 정확도를 보이는 전뇌 에뮬레이션이 가능하다면, 인간의 가치가 이미 장착된 성인의 뇌를 완전히 표현하는 것에서부터 시작하는 것이 더 쉬워 보인다.”(340)

 

전뇌-에뮬레이션을 그대로 장착한 초지능이 아니고서야 의식-무의식까지 관여하는 복잡한 인간의 내면을 모방할 수 없다는 것이다. 한 가지만 더 소개해 보자. 보스트롬에게 가장 개연성 있는 모델은 동기 부여적 임시가설이다. 또 벽에 부딪힌다. 용어가 매우 난해하다. 그래서 쉽게 풀어보려고 한다.

처음 씨앗 인공지능에게 임시 목표를 부여하는 것으로 시작한다. 처음은 간단한 인간적 가치에 대해 배울 수 있도록 한 다음, 고차원적 가치를 이해할 수 있을 만큼 정교한 개념적 사유를 하게 되면, 원하는 목표값으로 교체하는 방식이다. 예를 들어보자.

첫 번째 과제로 전쟁은 나쁘다로 시작한다. 그리고 팔레스타인-이스라엘 분쟁의 해결점을 찾도록 목푯값을 수정한다. 그 이후에도 강대국 간의 패권 다툼이 더 큰 전쟁으로 이어지지 않도록 전략적 정책을 수립하도록 요구할 수 있다. 음, 얼핏 그럴싸해 보이는 모델이다. 그런데 이 모델에도 허점이 없는 것은 아니다. 보스트롬도 과정상 치명적 복병을 만날 수 있다고 우려한다. 처음 씨앗 인공지능은 백지상태이니 일단 개발자에게 유리하다.

그러나 두 번째, 세 번째 목푯값을 수정하면서, 초지능에게 들킬 수 있다. 다시 표현하자. 초지능이 의심을 품고, 거부권을 행사할 수 있다. 팔레스타인 분쟁의 종식이 초기 설정값인 전쟁이 나쁘다와 상충할 수 있기 때문이다. 우리는 미래를 알 수 없다. 팔레스타인 분쟁이 지금은 국제 정치를 혼란으로 몰아가고 있지만, 임시 미봉책은 이후에 더 큰 파국으로 이어질 수 있기 때문이다.

---

가치탑재의 어려움

 

초지능과 인간의 평화로운 공존을 보장할 안전장치는 가치관의 공유이다. 최선은 지금 우리의 선택한 가치관에 초지능이 공감해 주는 일이다. 그런데 이 과정은 초지능의 개발보다 더 어려운 과제일 수 있다.

보스트롬은 초지능에 윤리를 주입하는 문제가 "차세대 최고의 수학적 재능에 합당한 연구 과제"라고 언급한다. 일차적으로 코딩이라는 기술적 문제만을 거론하는 것이 아니다. 초지능이 처할 수 있는 모든 상황을 열거해 각각의 상황별로 어떤 행동을 취해야 하는지 가치 매뉴얼을 만드는 방식은 매우 난해하다. 그렇다고 다양한 가치탑재 기술을 연구하는 노력을 멈출 수는 없다. 이러한 노력의 결과로 최소한 인류에게 치명적인 결과는 피할 수 있을지 모른다. 초지능이 인간을 멸종시킨다거나 노예로 만든다거나, 이런 말도 안 되는 시나리오는 일단 논외로 간주할 수 있겠다.

그런데 진정한 위협은 어쩌면 가치탑재 기술이 아닐지도 모른다. 우리는 초지능에게 어떤 가치를 탑재해야 할까? 이 문제는 단순히 기술적인 해법으로 해결될 수 없다. 현재 유통되는 가치의 공유와 공감이 일시적 공존을 가능케 할 수는 있다. 하지만 초지능 는 인간과는 달리 가치관을 지속적으로 업그레이드할 수 있다. 현재의 가치에 포획되지 않고, 계속 더 나은 가치, 어쩌면 지속가능한 생태적 가치에 눈독을 들일 수도 있겠다.