힐베르트의 무한 호텔 이야기는 우리에게 ‘셀 수 있는 무한(ℵ₀)’의 기묘하고도 유연한 성질을 보여주었다. 방이 꽉 차도 새로운 손님을 얼마든지 받을 수 있는 마법 같은 호텔. 그곳에서는 부분이 전체와 크기가 같아지는, 유한한 세계의 상식으로는 도저히 이해하기 힘든 일들이 벌어진다. 그러나 칸토르의 가장 위대한 발견은 여기서 멈추지 않았다. 그는 모든 무한이 다 똑같지 않으며, 무한에도 서로 ‘다른 크기’가 존재한다는 충격적인 사실을 세상에 알렸다.
마치 우리가 작은 점 하나와 끝없이 이어진 직선을 비교할 때, 두 대상 모두 무한한 잠재력을 가지고 있지만 그 ‘차원’이나 ‘밀도’가 다르다고 느끼는 것처럼, 칸토르는 수학적으로 엄밀한 방법을 통해 이러한 직관을 증명해 보였다.
그의 핵심적인 질문은 이것이었다. “수직선 위의 모든 점들, 즉 실수의 집합은 과연 자연수처럼 하나하나 셀 수 있을까?”
우리는 이미 자연수의 집합, 정수의 집합, 심지어 그 빽빽한 유리수의 집합까지도 모두 ‘셀 수 있는 무한(ℵ₀)’의 크기를 가진다는 것을 보았다. 유리수는 수직선 위에서 아무리 두 점을 가깝게 잡아도 그 사이에 또 다른 유리수가 존재할 만큼 조밀하게 분포한다. 그럼에도 불구하고 칸토르는 기발한 배열 방법을 통해 모든 유리수에 자연수 번호를 붙일 수 있음을 증명했다.
그렇다면 실수는 어떨까? 실수는 유리수보다 훨씬 더 ‘빽빽한’ 느낌을 준다. 유리수만으로는 수직선을 빈틈없이 채울 수 없으며, 그 사이사이를 무리수(루트 2, 파이 등)들이 메우고 있기 때문이다. 마치 촘촘한 그물망 사이로 빠져나가는 미세한 물 분자들처럼, 유리수 사이에는 무수히 많은 무리수들이 존재한다.
칸토르는 이 실수의 집합이 자연수와는 근본적으로 다른, 훨씬 더 ‘강력한’ 무한임을 직감했다. 그리고 그는 이 직감을 증명하기 위해 그의 가장 유명한 무기 중 하나인 ‘대각선 논법(diagonal argument)’을 사용했다.
대각선 논법의 핵심 아이디어는 귀류법, 즉 반대로 가정했을 때 모순이 발생함을 보이는 것이다. 칸토르는 이렇게 가정했다. “만약 0과 1 사이의 모든 실수를 셀 수 있다면, 우리는 그 실수들을 첫 번째, 두 번째, 세 번째… 이렇게 순서대로 나열하여 무한한 목록을 만들 수 있을 것이다.”
그리고 그는 이 가정이 거짓임을 보이기 위해, 그 목록에 절대로 존재할 수 없는 새로운 실수를 ‘구성’해냈다. 그 방법은 마치 마술과도 같았다.
- 가정된 실수 목록에서 각 실수를 소수점 이하로 표현한다.
- 목록의 첫 번째 실수의 소수점 첫째 자리, 두 번째 실수의 소수점 둘째 자리, 세 번째 실수의 소수점 셋째 자리… 이렇게 대각선 방향으로 숫자들을 선택한다.
- 이제 새로운 실수를 만드는데, 이 새로운 실수의 소수점 첫째 자리는 원래 목록의 첫 번째 실수의 소수점 첫째 자리와 ‘다르게’ 만들고, 소수점 둘째 자리는 원래 목록의 두 번째 실수의 소수점 둘째 자리와 ‘다르게’ 만들고… 이런 식으로 대각선상의 모든 숫자들과 각 자리에서 다른 숫자를 가지도록 새로운 실수를 구성한다.
이렇게 만들어진 새로운 실수는 어떤 특징을 가질까? 놀랍게도 이 새로운 실수는 원래의 ‘모든 실수를 담고 있다는 목록’ 그 어디에도 존재하지 않는다! 왜냐하면, 이 새로운 실수는 목록의 첫 번째 실수와는 소수점 첫째 자리가 다르고, 두 번째 실수와는 소수점 둘째 자리가 다르며, n번째 실수와는 소수점 n번째 자리가 다르기 때문이다. 즉, 이 새로운 실수는 목록상의 어떤 실수와도 일치할 수 없다.
이것은 명백한 모순이다! 만약 목록이 정말로 모든 실수를 담고 있었다면, 우리가 어떤 방식으로 실수를 만들든 그 실수는 목록 안에 있어야 한다. 그러나 우리는 방금 목록에 없는 새로운 실수를 성공적으로 만들어냈다. 따라서 최초의 가정, 즉 ‘0과 1 사이의 모든 실수를 셀 수 있다’는 가정이 틀렸다는 결론에 이르게 된다.
결국, 실수의 집합은 자연수와 일대일 대응이 불가능하며, 그 크기는 ℵ₀보다 엄격하게 크다! 이것이 바로 ‘셀 수 없는 무한(uncountable infinity)’의 발견이었다. 칸토르는 이 실수의 집합이 가지는 무한의 크기를 ‘연속체의 농도(c)’라고 불렀다.
이것은 마치 우리가 점들의 모임(자연수, 유리수)과 선(실수)을 비교하는 것과 같다. 선은 점들이 무한히 빽빽하게 모여 이루어진 것처럼 보이지만, 그 ‘무한함’의 질이 다른 것이다. 아무리 많은 점들을 찍어도 선을 완전히 메울 수는 없다. 선은 점보다 더 ‘풍부한’ 무한을 담고 있는 것이다.
대각선 논법의 핵심 아이디어는 이것이다. “네가 아무리 0과 1 사이의 모든 실수를 빠짐없이 다 적었다고 주장하며 그 목록을 나에게 가져와도, 나는 항상 그 목록에 빠진 새로운 실수를 너에게 보여줄 수 있다!” 이 논리는 너무나 강력해서 반박할 여지가 없었다.
칸토르의 이 발견은 무한의 세계에 대한 우리의 이해를 완전히 바꾸어 놓았다. 무한은 더 이상 단일하고 균일한 개념이 아니었다. 그것은 ℵ₀, c, 그리고 어쩌면 그보다 더 큰 무한들로 이루어진, 끝없이 이어지는 계층 구조를 가진 장엄한 산맥과도 같았다.
이 ‘크기가 다른 무한’의 발견은 칸토르의 가장 위대한 업적 중 하나로 꼽힌다. 그것은 인간 지성이 도달할 수 있는 가장 추상적이고 심오한 영역 중 하나를 탐험한 결과였으며, 수학의 기초뿐만 아니라 철학, 논리학, 심지어 우주론에까지 깊은 영향을 미쳤다.
다음 시간에는 이처럼 칸토르가 열어젖힌 무한의 세계가 어떤 질문들을 남겼고, 그 질문들이 어떻게 현대 수학의 중요한 문제들로 이어졌는지 살펴보며 그의 위대한 여정을 마무리하도록 하자. 그의 탐험은 끝났지만, 그가 남긴 지도는 여전히 우리를 새로운 발견으로 이끌고 있다.
