연속체의 농도, 알레프 아인(ℵ₁)?

칸토르의 연구는 무한의 세계에 대한 인간의 이해를 근본적으로 바꾸어 놓았다. 그는 ‘알레프 널(ℵ₀)’이라는 기호로 셀 수 있는 무한의 크기를 정의했고, 대각선 논법을 통해 실수의 집합이 ℵ₀보다 더 큰, ‘셀 수 없는’ 무한의 크기, 즉 ‘연속체의 농도(c)’를 가짐을 증명했다. 무한은 더 이상 단일한 개념이 아니었다. 그것은 분명한 계층 구조를 가진, 다양한 크기의 바다였다.

이제 칸토르의 마음속에는 새로운 질문이 고개를 들기 시작했다.

“ℵ₀ 다음으로 큰 무한의 크기는 무엇일까?”

그는 이미 멱집합 연산을 통해 ℵ₀보다 큰 무한(c, 즉 자연수 집합의 멱집합의 크기)을 찾아냈다. 그렇다면 ℵ₀와 c 사이에는 또 다른 크기의 무한이 존재할까? 아니면 c가 바로 ℵ₀ 다음으로 작은, ‘최소의 셀 수 없는 무한’일까?

이것이 바로 ‘연속체 가설(Continuum Hypothesis)’이라는 이름으로 알려지게 될, 수학 역사상 가장 유명하고 풀리지 않는 문제 중 하나의 시작이었다.

칸토르는 알레프 수들의 체계를 구상했다.

• ℵ₀: 가장 작은 무한 기수 (자연수의 크기)
• ℵ₁ (알레프 아인 또는 알레프 원): ℵ₀보다 크면서 가장 작은 무한 기수 (즉, ℵ₀와 ℵ₁ 사이에는 다른 무한 기수가 없다)
• ℵ₂ (알레프 츠바이 또는 알레프 투): ℵ₁보다 크면서 가장 작은 무한 기수
• ...
• ℵα: α번째 초한기수

이러한 알레프 수들의 계층을 생각했을 때, 연속체의 농도 c는 이 계층 어디에 위치할까? 칸토르는 c가 바로 ℵ₁과 같을 것이라고 강력하게 믿었다. 즉, ℵ₀ 다음으로 작은 무한 기수가 바로 연속체의 농도 c라는 가설이었다.

연속체 가설: c = ℵ₁

이 가설은 너무나 자연스러워 보였다. 마치 1 다음의 정수가 2이듯이, 가장 작은 무한 ℵ₀ 다음의 무한은 당연히 c가 되어야 할 것 같았다. 칸토르는 이 가설을 증명하기 위해 엄청난 시간과 노력을 쏟아부었다. 만약 이것이 증명된다면, 무한의 계층 구조는 더욱 명확해지고 아름다운 질서를 갖추게 될 터였다.

그는 다양한 각도에서 이 문제에 접근했다. 점집합 이론을 더욱 발전시켜 실수의 부분집합들의 복잡한 구조를 분석하기도 하고, 초한 서수의 이론을 이용하여 무한집합들을 잘 정돈하려는 시도도 했다. 그의 연구 노트에는 연속체 가설을 증명하려는 수많은 시도와 실패의 흔적들이 빼곡하게 기록되었다.

때로는 증명의 실마리를 잡은 듯한 기쁨에 밤을 새우기도 했지만, 다음 날 아침이면 어김없이 논리적 허점이 발견되어 깊은 절망에 빠지곤 했다. 마치 손에 잡힐 듯 잡히지 않는 신기루처럼, 연속체 가설은 그의 눈앞에서 아른거리기만 할 뿐이었다.

“나는 확신한다. c는 반드시 ℵ₁이어야 한다. 신이 창조한 수학적 우주가 그렇게 단순하고 아름다운 질서를 가지고 있지 않을 리 없다.”
칸토르는 종종 종교적인 신념에 기대어 자신의 가설에 대한 믿음을 다지곤 했다. 그에게 수학적 진리는 신의 섭리와 다르지 않았다.

하지만 학계의 반응은 냉담했다. 칸토르가 ℵ₀니 ℵ₁이니 하는 이상한 기호들을 만들어내고, 그 사이의 관계를 논하는 것 자체가 많은 수학자들에게는 허황된 이야기처럼 들렸다. 특히 크로네커와 같은 유한주의자들에게 연속체 가설은 망상에 가까운 주장이었다.

“존재하지도 않는 유령들의 크기를 비교하겠다는 건가? 칸토르는 이제 수학이 아니라 신비주의에 빠져들고 있군.”
크로네커의 비판은 날이 갈수록 거세졌고, 칸토르는 학계에서 점점 더 고립되어 갔다.

가장 칸토르를 괴롭혔던 것은, 그의 모든 노력에도 불구하고 연속체 가설의 증명이 요원하다는 사실이었다. 그는 이 문제를 해결하기 위해 자신의 모든 지성과 열정을 불태웠지만, 그럴수록 문제는 더욱 깊은 미궁 속으로 빠져드는 듯했다. 이 풀리지 않는 수수께끼는 점차 그의 정신을 갉아먹기 시작했다.

그는 때때로 자신의 연구에 대한 회의감에 휩싸였다. 혹시 자신이 틀린 길을 가고 있는 것은 아닐까? 연속체 가설은 애초에 증명 불가능한 명제는 아닐까? 이러한 의심은 그의 예민한 정신을 더욱 불안하게 만들었다.

그럼에도 불구하고 칸토르는 포기하지 않았다. 그는 연속체 가설이 자신이 발견한 무한의 세계를 이해하는 데 있어 핵심적인 열쇠라고 믿었다. 만약 이 가설이 참이라면, 무한의 계층은 아름답고 질서정연한 구조를 갖게 될 것이었다. ℵ₀ 다음은 ℵ₁, 그 다음은 ℵ₂, … 이렇게 명확한 순서로 무한의 크기들이 배열될 수 있을 터였다.

훗날, 연속체 가설은 칸토르의 예상과는 전혀 다른 방향으로 결론지어지게 된다. 괴델과 코언이라는 두 천재 수학자에 의해, 연속체 가설은 당시의 표준적인 집합론 공리계(ZFC) 내에서는 증명할 수도, 반증할 수도 없는 ‘독립적인’ 명제임이 밝혀진다. 이것은 칸토르에게는 상상조차 할 수 없었던 결과였을 것이다.

그러나 이 시점에서 칸토르는 여전히 희망의 끈을 놓지 않고 있었다. 그는 연속체의 농도 c가 바로 ℵ₀ 다음의 무한, 즉 알레프 아인(ℵ₁)이라는 자신의 직관을 믿었다. 이 믿음은 그를 앞으로 나아가게 하는 원동력이었지만, 동시에 그의 발목을 잡는 무거운 족쇄가 되기도 했다. 그의 앞날에는 이 풀리지 않는 문제로 인한 깊은 고뇌와 정신적인 시련이 기다리고 있었다. 무한의 문을 연 대가는 결코 가볍지 않았다.