러셀의 역설, 집합론을 뒤흔든 폭탄

칸토르가 무한의 낙원을 열어젖히고 그 안에서 초한수와 점집합이라는 기묘한 존재들과 씨름하며 고독한 시간을 보내는 동안, 영국 케임브리지의 젊은 지성 버트런드 러셀은 그의 집합론에 매료되어 깊이 파고들고 있었다. 러셀은 칸토르의 아이디어가 수학의 기초를 다질 수 있는 강력한 도구라고 확신했지만, 동시에 부랄리포르티 역설이나 칸토르 자신의 역설처럼 그 기초가 흔들릴 수 있다는 점에 주목했다.

러셀은 기존의 역설들이 너무 복잡한 초한 개념에 의존한다고 생각했다. 그는 집합론의 가장 기본적인 원리, 즉 ‘어떤 조건이든 만족하는 대상들의 모임은 집합이다’는 칸토르의 소박한 정의 그 자체에 문제가 있을 것이라고 직감했다. 만약 가장 기본적인 개념에서부터 모순이 발생한다면, 칸토르가 쌓아 올린 무한의 탑은 모래 위에 지어진 성처럼 순식간에 무너져 내릴 것이었다.

러셀은 밤낮없이 이 문제에 매달렸다. 그의 연구실 책상 위에는 칸토르의 논문들과 자신의 복잡한 논리 기호들이 빼곡하게 들어찬 노트가 쌓여갔다. 그는 모든 종류의 집합들을 생각하고, 그 집합들이 스스로를 원소로 포함하는지 아닌지에 대해 분석하기 시작했다.

어떤 집합들은 자신을 원소로 포함하는 것처럼 보였다. 예를 들어, ‘세상에 존재하는 모든 추상적인 개념들의 집합’은 스스로도 추상적인 개념이므로 자신을 원소로 포함해야 할지도 모른다. (이것은 다소 철학적인 예시이지만, 당시 수학자들은 이런 개념들도 집합으로 다룰 수 있다고 생각했다.)

반대로, 대부분의 집합들은 자신을 원소로 포함하지 않았다. 예를 들어, ‘모든 의자들의 집합’은 의자가 아니므로 자신을 원소로 포함하지 않는다. ‘모든 자연수들의 집합’은 자연수가 아니므로 자신을 원소로 포함하지 않는다.

러셀의 예리한 시선은 바로 이 두 번째 종류의 집합들에 고정되었다. 즉, ‘스스로를 원소로 포함하지 않는 집합들’이었다.

그리고 그는 생각했다. "그렇다면, '스스로를 원소로 포함하지 않는 모든 집합들'을 모아놓은 집합을 생각해보면 어떨까?"

마치 뇌리를 스치는 섬광처럼, 하나의 아이디어가 그의 머릿속을 강타했다. 그는 이 새로 생각한 집합에 특별한 이름 R을 붙였다.

R = { x | x는 집합이고, x는 x 자신을 원소로 포함하지 않는다 }

말로 풀면, R은 "자기 자신을 원소로 가지지 않는 모든 집합들의 모임"이었다. 칸토르의 소박한 집합론에 따르면, 이러한 조건을 만족하는 대상들(집합들)을 모아놓은 것이므로 R은 분명히 하나의 '집합'이어야 했다.

이제 러셀은 결정적인 질문을 던졌다.

"과연 이 집합 R은 R 자신을 원소로 포함하는가, 포함하지 않는가?"

이 질문은 마치 풀 수 없는 수수께끼 같았다.

• 만약 R이 R 자신을 원소로 포함한다면 (R ∈ R): R은 집합 R의 원소이다. 그런데 집합 R은 어떤 집합들로 이루어져 있는가? '스스로를 원소로 포함하지 않는 집합들'로 이루어져 있다. 따라서 R이 R의 원소라면, R은 '스스로를 원소로 포함하지 않는 집합'이어야 한다. 즉, R은 R 자신을 원소로 포함하지 않아야 한다 (R ∉ R). 이것은 처음의 가정 (R ∈ R)에 모순된다!

• 만약 R이 R 자신을 원소로 포함하지 않는다면 (R ∉ R): R은 집합 R의 원소가 아니다. 그런데 집합 R은 어떤 집합들을 모아놓은 것인가? '스스로를 원소로 포함하지 않는 모든 집합들'을 모아놓은 것이다. 따라서 R이 R 자신을 원소로 포함하지 않는다면, R은 '스스로를 원소로 포함하지 않는 집합'이라는 조건을 만족하므로, R은 집합 R의 원소가 되어야 한다 (R ∈ R). 이것 또한 처음의 가정 (R ∉ R)에 모순된다!

어떤 가정을 하든 결론은 모순에 이르는 기묘한 상황! 집합 R이 존재한다고 가정하는 순간, R은 R 자신을 원소로 포함하면서 동시에 포함하지 않는다는, 논리적으로 불가능한 상황이 발생한 것이다.

이것이 바로 '러셀의 역설(Russell's paradox)'이었다. 그 단순함과 파괴력 면에서 이전의 어떤 역설보다 강력했다. 부랄리포르티 역설이나 칸토어의 역설이 초한수라는 다소 난해한 개념에 기반한 반면, 러셀의 역설은 집합과 원소라는 가장 기본적인 개념만을 사용하여 모순을 이끌어냈다. 이는 칸토르의 '소박한 집합론'의 근본적인 원리 자체가 잘못되었음을 명백히 보여주었다.

이 역설을 쉽게 이해하기 위한 유명한 비유가 바로 '이발사의 역설'이다.
"어떤 마을에 이발사가 한 명 산다. 이 이발사는 '스스로 수염을 깎지 않는 모든 남자들'의 수염만 깎아준다. 그렇다면 이발사는 자신의 수염을 깎아야 하는가?"

• 만약 이발사가 자신의 수염을 깎는다면: 그는 '스스로 수염을 깎지 않는 남자'가 아니므로, 자신의 규칙에 의해 자신의 수염을 깎아서는 안 된다. 모순!
• 만약 이발사가 자신의 수염을 깎지 않는다면: 그는 '스스로 수염을 깎지 않는 남자'에 해당하므로, 자신의 규칙에 의해 자신의 수염을 깎아야만 한다. 모순!
  이발사가 존재한다고 가정하는 순간 모순이 발생하므로, 이러한 이발사는 존재할 수 없다는 결론에 이른다. 마찬가지로, '스스로를 원소로 포함하지 않는 모든 집합들의 집합' R은 존재할 수 없다.

러셀은 이 역설을 발견했을 때의 충격을 잊을 수 없었다. 그는 자신의 평생 목표였던 '수학을 논리 위에 세우는 작업'의 근간이 흔들리는 것을 느꼈다. 그는 1902년, 이 역설을 독일의 위대한 논리학자 고틀로프 프레게(Gottlob Frege)에게 알리는 편지를 썼다.

프레게는 당시 수학의 기초를 논리적으로 확립하려는 평생의 역작, 「산술의 기초 법칙(Grundgesetze der Arithmetik)」 제2권을 막 출판하려던 참이었다. 그의 체계는 칸토르의 소박한 집합론에 기반하고 있었고, 러셀의 역설에 그대로 취약했다.

러셀의 편지를 받은 프레게는 망연자실했다. 그는 곧바로 제2권의 서문에 급히 이 역설에 대한 논의를 추가하고, 자신의 체계를 수정하려는 시도를 덧붙였다. 그는 후에 "과학자가 자신의 작업이 끝날 무렵에 그 토대가 무너지는 것만큼 바람직하지 않은 일을 겪기는 어렵다"고 절망적인 심경을 토로했다. 프레게의 위대한 작업은 러셀의 역설로 인해 치명적인 타격을 입었고, 이는 그의 후기 연구 방향에도 큰 영향을 미쳤다.

러셀의 역설은 단순히 프레게 개인의 불행으로 끝나지 않았다. 그것은 수학계 전체, 특히 수학의 기초를 집합론 위에 세우려던 모든 시도에 대한 강력한 경고였다. 만약 집합론이 모순을 내포하고 있다면, 집합론을 기반으로 하는 모든 수학적 이론(수, 함수, 공간 등) 또한 잠재적으로 모순적일 수 있다는 공포감이 확산되었다. 바야흐로 '수학의 기초 위기(Foundational Crisis of Mathematics)'가 시작된 것이다.

칸토르에게 이 소식은 이중의 의미를 가졌다. 한편으로는 자신이 어렴풋이 느꼈던 집합론의 기초에 대한 불안감이 현실이 되었다는 사실에 충격을 받았을 것이다. 그의 '소박한' 정의는 더 이상 유효하지 않았다. 다른 한편으로는, 자신의 이론이 가진 심오한 문제점(거대한 모임들)이 가장 단순한 형태에서조차 발생한다는 것을 깨달으면서, 자신의 연구가 얼마나 근본적인 문제들을 건드리고 있었는지를 다시 한번 확인했을지도 모른다.

러셀의 역설은 칸토르의 이론 자체를 완전히 부정하는 것은 아니었지만, 그가 제시한 방식의 집합 구성이 무분별하게 이루어져서는 안 된다는 것을 명확히 했다. 이는 결국 집합을 구성하는 규칙을 엄격하게 제한하는 '공리적 집합론'의 탄생을 필연적인 것으로 만들었다.

칸토르가 열어젖힌 무한의 낙원. 그곳은 너무나 아름다웠지만, 동시에 치명적인 역설의 독이 숨어 있는 위험한 곳이었다. 러셀은 그 독을 가장 명확하게 드러냈고, 그 결과는 수학계에 거대한 폭풍을 일으켰다. 칸토르는 이 폭풍의 중심에서 자신의 이론을 지키고, 무한의 세계를 구원하기 위한 새로운 싸움에 직면하게 될 운명이었다.