칸토어의 역설, 가장 큰 기수는 없다!

부랄리포르티 역설이 ‘모든 서수들의 집합’이라는 개념의 위험성을 폭로하며 집합론의 기초에 첫 번째 경고음을 울렸다면, 칸토르 자신도 비슷한 시기에 또 다른 강력한 역설을 발견하며 자신의 이론이 가진 심오한 문제점을 직시하게 되었다. 이 역설은 ‘모든 기수들의 집합’ 또는 ‘가장 큰 기수’라는 개념과 관련된 것이었다.

칸토르는 이미 ℵ₀ (자연수의 크기), c (실수의 크기) 와 같은 초한기수들을 정의하고, 멱집합 연산을 통해 어떤 집합의 크기보다 항상 더 큰 크기를 가진 집합을 만들 수 있음을 보였다. (칸토어의 정리: |A| < |P(A)|, 여기서 P(A)는 A의 멱집합) 이 정리는 ‘가장 큰 무한은 없다’는 그의 주장을 뒷받침하는 핵심적인 결과였다.

그런데 만약, 정말 만약에, ‘존재하는 모든 기수들을 다 모아놓은 집합’이라는 것이 존재한다고 가정하면 어떻게 될까? 또는, ‘가장 큰 기수(the largest cardinal number)’라는 것이 존재한다고 가정하면 어떤 모순이 발생할까?

칸토르는 바로 이 지점에서 치명적인 모순을 발견했다. 이것이 바로 ‘칸토어의 역설(Cantor's paradox)’이다. 그의 논증은 다음과 같이 진행된다.

1. 가정: 세상에 존재하는 ‘모든 집합들의 집합 U’가 존재한다고 가정하자. (이 가정 자체가 이미 위험하지만, 논증을 위해 일단 받아들여 보자.)
2. 이 집합 U는 모든 집합을 원소로 가지므로, 그 크기(기수)는 존재할 수 있는 가장 큰 기수가 될 것이다. 이 가장 큰 기수를 Κ (카파 대문자) 라고 부르자.
3. 이제 칸토어의 정리를 적용해 보자. 어떤 집합이든 그 집합의 멱집합은 원래 집합보다 더 큰 크기를 가진다. 즉, |U| < |P(U)| 이다.
4. 이는 Κ < |P(U)| 를 의미한다. 즉, U의 멱집합 P(U)의 크기는 Κ보다 더 크다.
5. 그러나 Κ는 ‘가장 큰 기수’라고 가정했다! Κ보다 더 큰 기수가 존재한다는 것은 명백한 모순이다!

따라서, ‘모든 집합들의 집합’은 존재할 수 없으며, ‘가장 큰 기수’ 또한 존재할 수 없다는 결론에 이르게 된다.

이 역설은 부랄리포르티 역설과 유사한 구조를 가지고 있지만, 서수 대신 기수와 멱집합 개념을 사용한다는 점에서 차이가 있다. 두 역설 모두 ‘너무 큰’ 모임을 하나의 완결된 집합으로 간주했을 때 발생하는 자기 모순을 보여준다.

칸토르는 이 역설을 1899년 친구인 데데킨트에게 보낸 편지에서 처음 언급했고, 1932년에 그의 유고집을 통해 공식적으로 발표되었다. 그가 이 역설을 발견했을 때의 심정은 어떠했을까? 자신이 평생을 바쳐 건설한 무한의 이론 체계 내부에서 스스로 모순을 발견했을 때, 그는 깊은 절망과 동시에 어떤 지적인 희열을 느꼈을지도 모른다.

이 역설은 칸토르에게 ‘집합이란 무엇인가?’라는 질문을 더욱 근본적으로 고민하게 만들었다. 그는 이제 ‘모든 모임이 다 집합이 될 수는 없다’는 것을 명확히 인식하게 되었다. 어떤 모임들은 너무나 ‘거대’해서, 하나의 통일된 ‘전체’로 간주될 경우 스스로를 파괴하는 모순을 낳는다는 것을 깨달은 것이다. 그는 이러한 모임들을 ‘절대적으로 무한한(absolutely infinite)’ 또는 ‘모순 있는(inconsistent)’ 모임이라고 불렀고, 이것들은 진정한 의미의 ‘집합(consistent multiplicity)’이 될 수 없다고 생각했다.

칸토어의 역설은 그의 이론이 가진 한계와 위험성을 동시에 보여주는 양날의 검과 같았다. 한편으로는 그의 이론이 얼마나 심오하고 강력한지를 증명하는 것이었고 (멱집합을 통해 끊임없이 더 큰 무한을 만들어내는 능력), 다른 한편으로는 그 강력함이 통제되지 않을 경우 어떤 파국을 초래할 수 있는지를 경고하는 것이었다.

이러한 역설들의 등장은 당시 수학계에 큰 충격을 주지는 못했다. 대부분의 수학자들은 여전히 칸토르의 이론을 난해하고 추상적인 것으로 여겼으며, 이러한 ‘철학적인’ 문제보다는 구체적인 수학 문제 해결에 더 관심을 가졌기 때문이다.

그러나 칸토르 자신에게는 이 역설들이 단순한 논리적 유희가 아니었다. 그것은 그가 평생을 바쳐 탐구해온 무한의 세계에 대한 근본적인 질문이었고, 그의 정신을 끊임없이 괴롭히는 고뇌의 원천이었다. 그는 이 역설들을 해결하고 자신의 이론을 견고한 토대 위에 올려놓기 위해 노력했지만, 그 해답은 그의 생애 동안 쉽게 찾아지지 않았다.

부랄리포르티 역설과 칸토어의 역설. 이 두 가지 역설은 마치 집합론이라는 거대한 배의 선체에 생긴 작은 구멍과 같았다. 처음에는 눈에 잘 띄지 않았지만, 그 구멍들은 점점 더 커져서 배 전체를 침몰시킬 수도 있는 위험을 내포하고 있었다. 그리고 그 위험을 감지하고 결정적인 일격을 가할 젊은 천재가 영국의 케임브리지에서 조용히 등장하고 있었다. 그의 이름은 버트런드 러셀. 그의 등장은 집합론의 역사를 새로운 국면으로 이끌게 될 터였다. 칸토르의 제국은 이제 가장 강력한 도전에 직면하게 될 운명이었다.