열 번째 강의: 선택의 기준 선택하기

들어가기

 

초지능이 인류에게 존재적 위협이 된다는 전망은 보스트롬의 일차적 진단이다. 따라서 초지능의 통제 문제에 보스트롬이 집착한 이유를 충분히 이해할 수 있다. 통제가 사실상 쉽지 않다는 진단도 익숙하다.

그런데 이상한 일이다. 인류는 왜 이 치명적 존재를 더 빨리 개발하지 못해 안달일까? 인류 멸종의 가능성까지 언급되는 마당에 굳이 인공지능 개발에 매진하는 이유는 무엇일까?

우리는 지금까지 이 문제를 한 번도 거론하지 않았다. 보스트롬조차 이 질문에 대해서는 별 관심이 없는 듯하다. 왜 그럴까? 누가 아무리 발목을 잡아봤자, 실익이 없기 때문이다. 결국 인공지능 개발자들은 제 갈 길을 갈 것이고, 초지능도 언젠가는 등장할 것이다. 인공지능 개발은 개발자에게 일방통행일 뿐이다.

그렇다. 역사적으로 보면, 인류의 윤리적 성찰은 늘 유용성 앞에서 멈추어 서곤 했다. 화석연료가 환경에 아무리 치명적인 영향을 준다 해도 인류는 그것의 유용성을 포기할 생각이 없다. 공장식 축산에 대한 비정함을 아무리 강조해도 육식 소비를 줄여야 한다는 기사의 제일 근거는 대체로 인류의 건강과 관련되어 있을 뿐이다. A4 용지만 한 공간에서 1개월 남짓 사육되다가 도축되는 600억 마리의 닭의 비참한 삶에 인류는 아무런 관심이 없다.

초지능의 탄생은 그것이 인류에게 절대적으로 유용하다는 이유만으로 이미 현실이 되었다. 보스트롬이 아니라 어떤 유력한 패권 국가의 정치인도 이 흐름을 막을 수 없는 것이다.

아마 그래서 일 것이다. 보스트롬은 5백 페이지에 달하는 이 책 어느 곳에서도 초지능의 탄생을 막아야 한다는 주장을 하지 않는다. 관련 논제조차 꺼내지 않는다. 그가 할 수 있는 일이라곤 고작 인문학자로 최소한의 성의 표시를 한다. 그것이 바로 통제이다.

 

통제는 가치탑재로 그리고 그 기술로 이어졌다. 일단 전망이 밝지 않다. 가치탑재 문제가 성공해도 초지능에 심어줄 합리적 가치체계도 논란이 예상된다. 보스트롬은 가치문제에 대한 철학자 간의 합의가 어렵다는 현실을 예로 들기도 한다.

성질 급한 사람이 내놓을 수 있는 해법은 아무래도 세상에서 가장 현명한 사람의 가치관을 탑재하는 것이다. 철학사의 언어로 표현하자면, 가장 지혜로운 사람의 가치관을 탑재하는 일일 것이다. 소크라테스의 가치관을 탑재할까? 하지만 이때조차도 사태가 명쾌하게 해결되지 않는다. 도구적 합리성의 원칙에 최적화된 초지능에게 지혜는 어쩌면 존재적 위험을 가중시키는 요인으로 작용할 수도 있다.

보스트롬은 압도적인 분량으로 통제와 가치의 문제를 다루고 있다. 이번 주차도 그 연장선에 있다. 이전과 마찬가지로 명쾌한 해답은 없다. 벌써 수차례에 걸쳐 이 분야의 출구전략을 찾는 데 실패하다 보니, 마치 왜 우리가 초지능을 통제할 수 없는지 증명하려는 노력과도 같다. 그러나 점점 논의를 구체화하는 이점은 있다. 인문학자로서 이렇게 논의를 좁혀나가는 일은 좋은 자질이다. 서론은 이 정도 선에서 마무리하고, 본론에 들어가 보자.

 

Unsplash 라이선스

---

인간 행위의 선택기준

 

초지능의 통제는 행위 의지에 관여하는 가치판단과 연계되어 있다. 일단 직접적인 가치탑재는 득보다 실이 많다. 가치관의 스펙트럼이라는 것이 시간과 공간에 따라 워낙 광범위하고 상대적이기 때문이다. 섣부른 가치설정은 치명적인 결과를 낳을 수 있다. 상당한 역사적 시행착오가 그러한 배경에서 탄생하였다. 자율적 존재의 뒷면에는 극단적 가치판단이라는 낙인이 찍혀있다는 사실을 잊지 말자. 인간의 모든 행위에는 그럴만한 가치 기준이 있었다. 히틀러의 저서 <나의 투쟁>도 상당히 일관된 삶의 가치를 담고 있다.

한순간의 판단이 치명적인 결과를 낳을 수 있는 낯선 환경에서 협소한 가치 기준을 설정하는 일은 전적으로 초지능에게 판단을 맡기는 것보다 사태를 악화시킬 수 있다.

이제 보스트롬은 직접이라는 단어를 포기하는 대신 그 자리에 간접이라는 방식을 적용한다. 일종의 전략 수정이다. 가치선택에 필요한 인지적 수행의 일부를 초지능에게 위임하는 형식이다. 초지능이 인간보다 인지적 수행에 훨씬 능하므로 이 부분을 최대한 활용하는 전략이다. 본론에서 자세히 살펴보도록 할 것이다.

 

이 장의 제목은 ‘선택의 기준 선택하기’ 이다. 보스트롬이 이 장에서 말하려는 의도를 검토하기 전에 먼저 우리가 어떠한 방식으로 선택의 기준을 선택하는지부터 살펴보자. 그럼 보스트롬의 논의가 훨씬 편하게 읽힌다.

 

우리의 선택은 어떤 기준에 입각한 것일까? 구체적 사안마다 정해진 룰이 있는 것은 아니다. 매 순간 선택의 기준을 정해서 행동하는 사람은 아무도 없다. 우리는 기계가 아니다.

철학자들은 대체로 두 종류의 판단기준이 현재 우리의 무의식을 지배하고 있다고 논평한다. 공리주의와 의무주의가 그것이다. 너무나 유명한 행위이론이니 교양으로 익혀두기 바란다.

 

첫째, 공리주의 선택기준이다. 공리주의는 효용성을 제일 원칙으로 삼는다. 영국의 근대 철학자 벤담에 의해 전개된 ‘최대 다수의 최대 행복’을 원칙으로 삼는 윤리이론으로 알려져 있다. 판단의 기준을 유용함, 즉 유용함을 최대치로 끌어올리는 행위를 올바른 행위로 간주한다는 표현이 더 적합하다. 득과 실을 따져서 유리한 쪽을 선택하는 것이다.

공리주의는 종종 결과주의 윤리이론으로 알려져 있기도 하다. 결과가 좋다면, 절차 상이 문제는 충분히 정당화될 수도 있음을 시사한다. 사실 우리의 일상이 대체로 공리주의적 스펙트럼에서 움직인다.

백문이 불여일 예이다. 최근 한 제빵회사 제조과정에서 인명사고가 발생했다. 안전사고이다. 뭐, 워낙 빈번히 발생하는 사건이라 새로울 것도 없다. 근로자 한 명이 사망했고, 늘 그렇듯 안전수칙과 관련하여 위배사항이 없었는지, 중대 재해 처벌법 적용대상인지 조사가 진행되고 있다. 소비자들 사이에서는 관련 업체 불매운동이 기사화되고 있기도 하다.

그런데 이러한 안전사고가 계속 반복되는 이유는 무엇일까? 자동화된 기계는 인명피해를 예방하기 위해 설계 구조상 안전장치가 장착되어 있다. 사람이 접근하면 자동으로 기계가 멈추는 일종의 차단장치이다. 그런데 대부분 소규모 작업장에서는 이미 장착된 안전장치마저 해제해 버린다. 왜 그럴까? 생산성을 높이기 위해서이다.

안전장치로 결손나는 생산시간과 사고로 인해 발생하는 손실 중 어느 쪽이 회사에 더 유리할까? 이윤을 추구하는 데 있어서 좀 더 유리한 쪽을 선택하려는 의지가 반영되었다고 보면 된다. 산업안전보건법, 중대재해처벌법, 즉 사업장 내에서 발생하는 사고 책임을 강화하는 경향이 바로 이러한 선택기준을 막으려는 조치이다. 근로자의 생명을 담보로 득과 실을 따져서는 안 된다는 법의 정신이다.

 

둘째, 의무주의 선택기준이다. 의무주의는 공리주의와 정반대의 길을 걷는다. 공리주의를 역주행하면 의무주의가 보인다. 의무주의는 윤리적 선택기준에 조건을 붙이지 않는다. 대부분의 현대 법이 이러한 의무주의 철학을 지니고 있다. 살인하지 마라. 이유가 무엇일까? 살인을 금하는 이유는 누군가가 나를 함부로 해칠 수 없게 하기 위함이 아니다. 살인 그 자체가 나쁘기 때문이다. 사람의 목숨은 그 어떤 것으로도 대체될 수 없는 존엄성을 갖는다. 현대 법의 기본 정신이다.

앞서 언급한 안전사고 사례를 의무주의 방식으로 해석해 보자. 소규모 사업장에서 안전장치가 가동되는 장비를 활용할 경우, 회사가 목표로 하는 생산성에 차질을 빚을 수 있다. 그래서 대부분 소규모 사업장에는 일부러 안전장치를 해제하는 경향이 있다.

이때 의무주의는 양심의 레드선으로 작동한다. 기계 사용 설명서인 매뉴얼에 그렇게 쓰여있다. “절대로 안전장치를 해제해서는 안 된다” 이 문구 하나로 이 기계를 생산한 업체는 어떤 안전사고에도 처벌을 받지 않는다.

예전 유명했던 타이타닉호 침몰 사건에서도 의무주의 원칙이 적용되었다고 본다. 수천 명이 희생된 사고였다. 그런데 경우에 따라 희생자 수를 조금이나마 줄일 수는 있었다. 사고 현장을 벗어난 구명정에 여석이 남아 있었던 것이다. 왜 더 태우지 않았을까? 태우지 않은 것이 아니라, 태울 수 없었다. 매뉴얼이 그렇다. 부녀자, 아이, 노약자 우선순위에 따라 구명정에 대피시키다 보니, 절반만 태우고 내려간 구명정도 다수였다. 융통성이 없어 보이지만, 매뉴얼을 어떠한 경우에도 여겨서는 안 된다는 유럽의 의무주의 원칙이 적용된 대표적인 사례이다.

 

의무주의 윤리이론은 공리주의와는 달리 결과가 아니라 그 과정에 방점을 둔다. 그래서 ‘어떤 경우에’라는 조건을 붙이지 않는다. 결과에 따른 득과 실도 따지지도 않는다. 방금 예로 들었듯이, ‘모든 인간은 존엄성을 갖는다’ 이 명제에는 어떤 조건도 붙어 있지 않다. 노숙자나 삼성 회장이나 동등하게 한 명에 해당하는 투표권을 행사한다. 존엄성은 사회적 유용성으로 계산되는 것이 아니기 때문이다.

 

대체로 실용주의 철학에 바탕을 미국과 영국은 공리주의적 판단기준이 사회적 규범으로 녹아있다. 반면 대부분 유럽국가는 의무주의적 윤리이론에 익숙하다. 이 선택기준은 옮고 그름이 문제가 아니다. 역사적 맥락에서 발생한 전통이라고 보는데 합리적이다.

 

이제 우리의 일상으로 돌아와 보자. 우리의 행동은 공리주의와 의무주의, 결과와 과정, 어느 쪽에 더 무게를 두는 것일까? 당연히 경우에 따라 다를 것이다. 대체로 보면, 우리의 일상은 유불리에 편하게 공리주의와 의무주의가 혼합되어 있다. 원래 인간이 그렇다. 마치 진자 운동을 하는 시계처럼 공리주의와 의무주의를 왔다 갔다 매우 유연하게 움직인다.

방금 언급한 용어에 주목하기 바란다. 우리의 선택기준은 유연하게 작동하는 편이다. 한쪽을 택하기보다 상황에 따라, 유연하게 선택의 기준을 바꿀 수 있어서 우리의 일상은 극단적 상황에 부닥치지 않는다.

 

간접적 규범성의 등장

 

그럼 초지능에게는 어떤 선택의 기준을 적용해야 할까? 최소한 인간보다 못해서는 안 된다. 가장 이상적인 경우의 수는 초지능의 장점을 살려 인간의 유연성을 극대화시키는 방식이 될 것이다. 영화 <가타카>의 한 장면을 기억해 보자. 유전자 정보를 활용하여 출생을 결정하는 미래사회를 그린 영화이다. 20년도 훨씬 전에 촬영된 영화이기에, 지금은 어느 정도 현실화 되어있다. 법적 제한만 없다면, 유전자 정보와 가위기술로 출생의 비밀을 시도해 볼 수 있는 시대가 된 것이다. 유전자 기술은 인간이 알기 원하는 객관적 데이터를 제공하고 최종 판단은 인간에게 맡기는 식이다. 일종의 협업 전략이다.

초지능과의 관계에도 이러한 모델이 적용될 수 있다. 초지능은 최소한 인식능력에 있어서 인간보다 유리한 위치에 서 있다. 초지능이 옳다고 판단하는 믿음은 우리의 믿음에 비해서 참일 가능성이 크다. 이 부분을 충분히 참고하는 것은 나쁘지 않아 보인다. 예를 하나 들어보자.

 

A와 B가 지금 소개팅을 하는 중이다. 여기서 초지능이 관계-인식적 역할을 하고 있다. 두 사람의 성장배경, 가치관, 생활습관, 현재 심리상태, 미래 청사진 등을 충분히 고려하여, 양자의 관계가 앞으로 얼마나 지속 가능할지 연산하는 것이다. 만약 3년 이내에 둘의 관계가 파탄에 이를 가능성이 90%에 이른다고 초지능이 예측한다면 어떻게 될까? 여러분의 경우라면, 초지능의 조언을 받아들일까? 그냥 웃어넘기는 사람은 많지 않을 것이다. 앞서 언급했던 것처럼, 초지능이 옳다고 판단하는 믿음이 우리의 믿음에 비해서 참일 가능성이 크기 때문이다. 그러면 헤어질까? 이 선택도 뭔가 이상하다. 초지능이 무슨 예언자인가? 우리는 무슨 허수아비인가? 초지능에게 직접적으로 선택의 기준을 탑재할 경우, 이러한 관계가 예상된다. 이래도 뭔가 이상하다. 아무리 개연성이 높다고 하나, A와 B가 반드시 헤어지는 것은 아닐 수 있기 때문이다.

 

더 큰 문제는 이로부터 초지능이 인간의 행위와 의지를 결정할 가능성이 생기게 된다. 아무리 인공지능이 유용해도 인류의 운명을 통째로 맡기고 싶은 사람은 없을 것이다. 여기서 보스트롬은 가치선택의 직접 명시에서 간접적 규범의 가능성을 언급한다. 초지능의 인지능력을 활용하되, 우리가 추구하는 인간적 가치를 간접적으로 지정하여 더 유용한 형태로 변화하도록 유도하는 형태를 말한다.

 

일관 추정 의지

 

간접적 규범의 대표적인 예가 일관 추정 의지(CEV)이다. 일관 추정 의지란 우리가 어떠한 결정을 내리기 전에 관련 정보와 맥락을 제공함으로써 보다 성숙한 결정을 내릴 수 있도록 인공지능을 활용하는 전략을 말한다.

일관 추정 의지란 미국의 인공지능 연구가 엘리저 유드코프스키가 Friendly AI 개발을 논의하면서 개발한 용어이다. 가치판단의 기준선택에 있어서 직접적 명시를 보완할 수 있는 방식이다. 그의 설명을 직접 들어보자.

 

“인류의 일관 추정 의지는 우리가 더 많이 알았다면, 더 빠르게 생각할 수 있었다면, 우리 스스로가 되기를 바라는 그런 사람들이었다면, 함께 더 멀리 성장할 수 있었다면 하고 우리가 원했을 만한 것들을 말한다. 여기서 말하는 추정은 분산되는 것이 아니라 집중되는 것이며, 우리가 바라는 것은 상충되지 않고 일관되게, 우리가 원하는 대로 추정하고 원하는 대로 해석할 수 있는 것이다.”(373)

 

일관 추정 의지란 충분히 생각할 정신적 여유가 주어진 이상적인 상황에서 우리가 추구하려는 목표 의지를 말한다. 이것은 초지능이 우리에게 어떠한 조언을 하도록 설계되어야 하는지에 대한 일종의 대중적인 제안이다.

일관 추정 의지로 작동하는 초지능은 우리가 소유한 가치를 실현하는 대신 그 가치의 출처를 심층적으로 분석한다. 그로부터 우리의 인격적 성장을 요구한다. 현재 우리가 지닌 가치관을 절대적으로 신뢰할 이유가 없기에, 우리가 그것에 대해 더 생각할 수 있도록 더 넓고 깊은 배경을 제공하는 것이다. 가치를 직접 지정하면, 잘못된 값에 고정될 위험이 있지만, 일관 추정 의지는 가치에 대해 생각할 시간과 공간을 제공하는 것이기에 위험을 줄이고 유용성을 높인다.

앞서 언급을 했던 예를 통해 일관 추정 의지를 적용해 보자. 소개팅을 통해 호감을 느끼는 두 사람이 그 관계를 지속할 가능성은 충분히 계산될 수 있다. 초지능은 행여 발생할 수 있는 관계 부조화의 가능성을 경고할 수 있다. 그러나 다른 경우의 수도 제시해야 한다. 예컨대 A가 지닌 삶의 가치관이 관계에 도움이 되지 않는다는 사실을, 그리고 그 가치관이 비교적 편견에 해당한다는 사실을 미리 알려줘서 A로 하여금 일정 부분 수정할 수 있도록 도와줄 수 있다. 혹은 B의 내면에 감춰진 무의식적 트라우마가 관계를 훼손할 가능성이 있음을 경고할 수 있다. 인간의 내면은 워낙 복잡한 요소로 구성되어 있기에 언제든지 인간관계에 복병으로 작동하는 것이다.

더 많이 알았다면, 더 성숙한 판단을 내렸다면, 우리가 원하는 그러한 관계를 지키기 위해 노력했더라면, 이러한 결과적 상황을 초지능이 선제적으로 관여한다는 의미이다. 초지능의 선택판단 기준에 속하는 일관 추정 의지는 최소한 몇 가지 간접적 규범에 의해 작동한다.

예컨대, ‘인간의 도덕적 성숙을 보호한다거나, 인류가 자신의 운명을 스스로 결정하게 한다거나 등이다. 보스트롬은 일단 유드코프스키의 일관 추정 의지를 통해 개발자의 특정 가치가 초지능을 통해 오용될 가능성을 일축한다. 개발자 자신의 의지나 그가 선호하는 윤리이론이 아닌, 인류의 일관 추정 의지를 구현할 수 있는 원동력을 설정함으로써, 미래에 대한 개발자의 영향력을 모든 인류에게 분산시키는 효과가 있다는 것이다.

CEV, 일관 추정 의지에 대한 약속은 개발자들 간에 패권 다툼을 피할 수도 있다. 지금도 인공지능과 관련하여 경쟁이 치열하다. 지금까지는 기술개발이 우선 사항이었지만, 이후에는 그 유용성을 두고 패권 다툼이 치열해질 수 있다. 이때부터 가치문제가 전면에 부상하게 될 것이다. 일관 추정 의지는 개발자 간의 약속으로 남아야 된다는 논리이다.