칸토르, 역설의 소용돌이 속에서

러셀의 역설이 수학계를 강타하고, 프레게의 논리주의가 치명타를 입었으며, 수학의 기초가 흔들린다는 아우성이 여기저기서 터져 나오던 시절. 이 모든 혼란의 근원에는 바로 게오르크 칸토르, 그가 열어젖힌 ‘집합’이라는 판도라의 상자가 있었다.

칸토르 자신에게 이 역설들의 등장은 어떤 의미였을까? 그는 자신이 평생을 바쳐 건설한 무한의 제국이 한순간에 무너져 내릴지도 모른다는 공포에 휩싸였을까? 아니면, 자신의 이론이 가진 심오함과 그 안에 내재된 위험성을 동시에 확인하며 복잡한 심경을 느꼈을까?

사실 칸토르는 러셀보다 훨씬 이전부터 ‘너무 큰’ 모임들이 야기할 수 있는 문제점들을 어렴풋이 인지하고 있었다. 그가 ‘모순 없는 모임(집합)’과 ‘모순 있는 모임(고유 모임)’을 구분하려 했던 시도나, ‘모든 서수들의 집합’ 또는 ‘모든 기수들의 집합’이 존재할 수 없다는 자신의 역설을 발견한 것은 그러한 고민의 흔적이었다.

그러나 러셀의 역설은 그 파괴력과 단순함 면에서 이전의 역설들과는 차원이 달랐다. 그것은 마치 잘 훈련된 저격수가 정확하게 급소를 노린 것처럼, 칸토르의 ‘소박한 집합론’의 가장 취약한 부분을 정통으로 가격했다. ‘어떤 조건이든 만족하는 대상들의 모임은 집합이다’라는, 칸토르 이론의 가장 기본적인 가정 자체가 문제의 핵심임이 명백해진 것이다.

이러한 상황은 이미 정신적으로 불안정했던 칸토르에게 엄청난 부담감으로 다가왔을 것이다. 그는 자신의 이론이 오해받고 부당하게 공격당하는 것에 대해 극도로 예민하게 반응했다. 러셀의 역설은 칸토르의 이론을 직접적으로 공격하려는 의도는 아니었지만, 결과적으로 크로네커와 같은 반대자들에게 칸토르의 이론 전체를 폄하할 또 다른 빌미를 제공하는 셈이 되었다.

“보시오! 내가 처음부터 말하지 않았소! 칸토르의 이론은 모순으로 가득 찬 헛소리에 불과하다고! 이제 젊은 러셀이라는 친구가 그것을 명명백백히 증명해 보이지 않았소!”
크로네커는 이미 세상을 떠났지만, 그의 유령은 여전히 칸토르를 괴롭히고 있었고, 그의 추종자들은 러셀의 역설을 무기 삼아 칸토르를 더욱 맹렬히 공격했다.

칸토르는 자신의 이론을 방어하고, 역설을 피할 수 있는 방법을 찾기 위해 고심했을 것이다. 그는 데데킨트와 주고받은 편지에서 이러한 고민들을 토로하기도 했다. 그러나 그의 정신은 이미 너무 많은 상처를 입은 상태였다. 주기적으로 찾아오는 우울증은 그의 연구 능력을 심각하게 저해했고, 그는 점점 더 깊은 절망과 고립감 속으로 빠져들었다.

그는 요양원을 오가는 생활을 반복해야 했다. 맑은 공기와 평화로운 환경 속에서 잠시 안정을 찾는 듯하다가도, 풀리지 않는 수학 문제들과 세상의 몰이해가 그의 마음을 다시 어지럽히곤 했다. 그의 머릿속에서는 여전히 알레프 수들이 춤을 추고, 연속체 가설의 증명이 아른거렸지만, 그것을 명확한 형태로 잡아내기에는 그의 정신력이 너무나 소진되어 있었다.

어떤 기록에 따르면, 칸토르는 말년에 자신의 집합론 연구를 후회하며, 차라리 젊은 시절 아버지의 바람대로 공학을 공부했더라면 더 행복했을 것이라고 탄식하기도 했다고 한다. 물론 이것이 그의 진심이었는지, 아니면 깊은 절망 속에서 나온 일시적인 감정이었는지는 알 수 없다.

그러나 분명한 것은, 역설의 소용돌이가 그의 삶을 더욱 고통스럽게 만들었다는 사실이다. 그는 자신이 열어젖힌 무한의 세계가 가져다준 아름다움과 풍요로움만큼이나, 그 안에 숨겨진 위험과 혼란 때문에 괴로워해야 했다. 그는 마치 자신이 창조한 골렘에게 쫓기는 마법사처럼, 자신의 이론이 가진 통제 불가능한 힘 앞에서 무력감을 느꼈을지도 모른다.

그럼에도 불구하고, 칸토르의 업적은 결코 사라지지 않았다. 비록 그의 ‘소박한’ 접근 방식은 한계를 드러냈지만, 그가 제시한 ‘집합’이라는 개념, ‘일대일 대응’을 통한 무한의 크기 비교, ‘셀 수 있는 무한’과 ‘셀 수 없는 무한’의 구분, 그리고 ‘초한수’라는 아이디어는 현대 수학의 근간을 이루는 핵심적인 요소로 자리 잡았다.

역설의 발견은 칸토르 개인에게는 고통이었지만, 수학 전체의 발전에는 오히려 긍정적인 자극이 되었다. 그것은 수학자들에게 ‘기초’의 중요성을 일깨워주었고, 더욱 엄밀하고 안전한 방식으로 집합론을 재건하려는 노력을 촉발시켰다.

칸토르는 이 모든 과정을 지켜보면서 어떤 생각을 했을까? 그는 자신의 이론이 새로운 모습으로 부활하여 수학의 언어가 되는 것을 보았을까? 아니면 여전히 풀리지 않는 문제들과 세상의 오해 속에서 고독하게 스러져 갔을까?

분명한 것은, 그가 역설의 소용돌이 속에서도 끝까지 무한에 대한 탐구를 놓지 않았다는 사실이다. 그의 정신은 병들어갔지만, 그의 수학적 영혼은 여전히 무한의 아름다움을 갈망하고 있었다. 그리고 그 갈망은, 비록 그 자신은 알지 못했지만, 다음 세대의 수학자들에게 이어져 새로운 역사를 만들어갈 준비를 하고 있었다. 그의 고통스러운 투쟁은 결코 헛되지 않았던 것이다.