연속체 가설, 풀리지 않는 수수께끼

취리히에서의 국제 수학자 대회가 가져다준 희미한 인정의 빛도 잠시, 칸토르의 마음은 다시금 하나의 거대한 문제에 사로잡혔다. 그것은 그의 연구 인생을 관통하는 가장 집요하고 풀리지 않는 수수께끼, 바로 ‘연속체 가설(Continuum Hypothesis)’이었다.

그는 이미 ‘셀 수 있는 무한’의 크기를 ℵ₀로, 그리고 ‘실수의 집합’이 가지는 ‘셀 수 없는 무한’의 크기를 c로 정의했다. 그리고 ℵ₀ < c 임을 대각선 논법을 통해 명확히 증명했다. 이제 그의 가장 큰 질문은 이것이었다.

“ℵ₀와 c 사이에 또 다른 크기의 무한이 존재하는가?”

칸토르는 존재하지 않을 것이라고 굳게 믿었다. 그는 c가 바로 ℵ₀ 다음으로 작은 무한의 크기, 즉 ℵ₁ (알레프 아인)과 같을 것이라고 확신했다. 이것이 바로 ‘연속체 가설: c = ℵ₁’ 이었다. 이 가설이 참이라면, 무한의 계층은 마치 자연수 1, 2, 3, ...처럼 깔끔하고 질서정연한 구조를 가질 터였다.

칸토르에게 이 가설은 단순한 수학적 문제를 넘어선, 거의 신념에 가까운 것이었다. 그는 신이 창조한 수학적 우주가 혼란스럽거나 불완전할 리 없다고 생각했다. 그의 직관은 끊임없이 ‘c는 반드시 ℵ₁이어야 한다!’고 속삭였다.

이 믿음은 그를 평생 동안 연속체 가설 증명에 매달리게 만들었다. 그는 이 문제를 해결하기 위해 자신의 모든 지적 능력을 총동원했다. 점집합 이론을 더욱 정교하게 다듬고, 초한 서수의 복잡한 연산 규칙들을 탐구했으며, 집합들을 잘 정돈하는 방법에 대해 고민했다. 그의 연구 노트는 이 거대한 산을 정복하려는 수많은 시도들로 가득 찼다.

때로는 증명의 윤곽이 잡히는 듯한 순간도 있었다. 그는 흥분에 휩싸여 밤을 새워 계산에 몰두했고, 동료인 데데킨트에게 자신의 진전을 알리는 편지를 쓰기도 했다. 그러나 기쁨도 잠시, 다음 날이면 어김없이 그의 논리 속에 숨겨진 미세한 균열이나 반례가 발견되곤 했다. 그럴 때마다 그는 깊은 절망의 나락으로 떨어졌다.

“도대체 무엇이 문제란 말인가! 나의 직관은 틀리지 않았을 텐데… 왜 증명의 마지막 조각이 맞춰지지 않는 것인가!”

그의 좌절감은 극에 달했다. 연속체 가설은 마치 그의 눈앞에서 아른거리는 신기루처럼, 잡힐 듯 잡히지 않으며 그를 괴롭혔다. 이 풀리지 않는 수수께끼는 그의 정신을 갉아먹는 가장 큰 원인 중 하나가 되었다. 그의 주기적인 우울증 발작은 이 문제에 대한 강박적인 집착과 깊은 관련이 있었다고 많은 이들은 추측한다.

그는 때때로 자신의 증명 능력을 의심했고, 심지어 자신의 정신 상태까지 의심하기 시작했다. 혹시 자신이 너무 깊이 무한의 세계에 빠져들어 현실 감각을 잃어버린 것은 아닐까? 그러나 그런 의심 속에서도 연속체 가설에 대한 미련은 버릴 수 없었다. 그것은 그가 발견한 새로운 대륙의 가장 높은 봉우리였고, 그는 반드시 그곳에 자신의 깃발을 꽂아야 한다고 생각했다.

학계의 반응 역시 그를 더욱 힘들게 했다. 많은 수학자들은 연속체 가설 자체가 의미 있는 문제인지에 대해서조차 회의적이었다. 칸토르가 ℵ₀니 ℵ₁이니 하는 기호들을 만들어내고 그 사이의 관계를 따지는 것을 ‘공허한 사변’이라고 폄하하는 이들도 있었다. 크로네커의 영향력 아래 있던 독일 학계에서는 그의 이러한 연구가 거의 무시당하거나 조롱의 대상이 되기도 했다.

“칸토르는 존재하지도 않는 유령들의 서열을 매기려 하고 있군. 차라리 천사들이 바늘 끝에 몇 명이나 올라갈 수 있는지 세는 편이 낫겠소.”
이러한 냉소적인 비판은 칸토르의 고독감을 더욱 깊게 만들었다.

그럼에도 불구하고, 칸토르는 평생 동안 연속체 가설의 증명을 포기하지 않았다. 그는 자신의 마지막 순간까지도 이 문제에 대한 해답을 갈망했을 것이다. 그러나 그의 바람과는 달리, 연속체 가설은 그의 생애 동안 풀리지 않는 수수께끼로 남았다.

훗날, 20세기에 이르러 쿠르트 괴델과 폴 코언이라는 두 천재 수학자에 의해 연속체 가설의 운명은 극적인 반전을 맞이하게 된다. 그들은 연속체 가설이 당시의 표준적인 집합론 공리계(ZFC)로부터 ‘독립적’이라는 것을 증명해냈다. 즉, ZFC 공리계 내에서는 연속체 가설을 참이라고 가정해도 모순이 없고, 거짓이라고 가정해도 모순이 없다는 것이다! 이것은 칸토르가 평생을 바쳐 풀려고 했던 문제가, 그가 사용하던 수학적 도구로는 애초에 답을 내릴 수 없는 성질의 것이었음을 의미했다.

칸토르가 이 사실을 알았다면 어떤 표정을 지었을까? 어쩌면 그는 자신의 직관이 틀리지 않았다는 사실에 안도했을지도 모른다. 혹은 평생을 바친 노력이 허무하게 느껴졌을지도 모른다.

그러나 이 시점에서 칸토르는 여전히 어둠 속에서 출구를 찾아 헤매고 있었다. 연속체 가설이라는 거대한 벽은 그의 앞을 굳건히 가로막고 있었고, 그 벽을 넘으려는 그의 처절한 몸부림은 그의 영혼을 조금씩 잠식해 들어가고 있었다. 무한의 세계를 탐험하는 여정은 그에게 찬란한 영광과 함께 깊은 고뇌라는 그림자를 동시에 안겨주고 있었다. 그리고 그 그림자는 점점 더 짙어져만 갔다.