수학의 기초가 흔들리다!

버트런드 러셀이 던진 ‘러셀의 역설’이라는 이름의 폭탄은 예상보다 훨씬 강력한 파괴력을 지니고 있었다. 그것은 단순히 칸토르의 소박한 집합론의 허점을 드러내는 것을 넘어, 당시 수학의 기초를 집합론 위에 세우려던 모든 시도에 치명적인 타격을 입혔다. 수학이라는 가장 확실하고 논리적인 학문조차 그 근본이 모순으로 가득 차 있을지 모른다는 공포감이 수학계 전체를 휩쓸기 시작했다. 바야흐로 ‘수학의 기초 위기’가 본격적으로 막을 올린 것이다.

가장 직접적인 충격을 받은 인물은 단연 독일의 논리학자 고틀로프 프레게였다. 그는 평생을 바쳐 수학의 모든 개념을 순수한 논리로부터 이끌어내려는 ‘논리주의’를 주창하며, 「산술의 기초 법칙」이라는 기념비적인 저작을 집필하고 있었다. 그의 체계는 칸토르와 유사하게 ‘어떤 개념이 주어지면 그 개념에 해당하는 대상들의 집합이 존재한다’는 원리에 깊이 의존하고 있었다.

1902년 6월, 프레게는 러셀로부터 한 통의 편지를 받는다. 그 편지에는 젊은 영국 철학자가 발견한 치명적인 역설이 담겨 있었다. 프레게는 자신의 평생 연구가 물거품이 될 위기에 처했음을 직감했다. 그는 「산술의 기초 법칙」 제2권의 인쇄가 거의 완료된 시점이었지만, 급히 서문을 수정하여 러셀의 역설을 언급하고, 자신의 체계가 이 문제에 직면했음을 고백해야 했다.

“과학자에게 자신의 연구가 거의 완성되었을 때 그 기초가 무너지는 것보다 더 불행한 일은 없을 것입니다. 러셀 씨가 보낸 편지는 저를 바로 그런 상황에 처하게 했습니다.”
프레게의 절망감은 이루 말할 수 없었다. 그의 위대한 꿈, 즉 수학을 완벽하게 논리적인 토대 위에 세우려는 시도는 러셀의 역설이라는 암초에 부딪혀 좌초될 위기에 놓인 것이다. 그는 이후 이 문제를 해결하기 위해 노력했지만, 만족스러운 결과를 얻지 못했고 결국 그의 논리주의 프로그램은 큰 타격을 입게 된다.

러셀의 역설이 가져온 충격은 비단 프레게 개인에게만 국한되지 않았다. 당시 많은 수학자들은 칸토르의 집합론이 제공하는 풍부한 개념과 도구들을 이용하여 해석학, 위상수학 등 다양한 분야에서 눈부신 발전을 이루고 있었다. 그런데 그 모든 이론의 기초가 되는 집합론 자체가 모순을 내포하고 있다면, 그들이 쌓아 올린 모든 수학적 지식 또한 언제 무너질지 모르는 사상누각에 불과하다는 불안감이 엄습했다.

마치 견고하다고 믿었던 대지의 발밑이 갑자기 흔들리는 지진을 경험한 것과 같았다. 수학자들은 자신들이 다루는 대상들(수, 함수, 집합)의 존재 자체에 대해 근본적인 의문을 품기 시작했다. ‘무한’이라는 개념은 아름답지만 위험한 존재임이 다시 한번 확인되었고, 칸토르가 열어젖힌 무한의 낙원은 어쩌면 혼돈과 모순으로 가득 찬 지옥이었을지도 모른다는 극단적인 생각마저 고개를 들었다.

이러한 위기감 속에서 수학계는 수학의 기초를 재건하려는 다양한 시도들을 전개하기 시작했다. 러셀 자신과 화이트헤드는 여전히 수학을 순수한 논리로 환원하려는 논리주의적 시도를 계속하며, 러셀의 역설을 피하기 위해 ‘유형 이론’과 같은 복잡한 논리적 장치를 고안하여 「수학 원리」라는 방대한 저작을 출간했지만, 그 체계는 너무 복잡하고 인위적이어서 널리 받아들여지지는 못했다. 한편, 네덜란드의 수학자 라위트전 브라우어가 이끈 직관주의 학파는 수학적 대상은 오직 인간의 정신 속에서 명확하게 ‘구성’될 수 있을 때만 존재한다고 주장하며, 칸토르의 실제무한이나 배중률과 같은 고전 논리의 일부를 거부하고 수학의 기초를 더욱 엄격하게 제한하려 했다. 이는 크로네커의 유한주의와도 맥이 닿아 있었다. 그리고 독일의 위대한 수학자 다비트 힐베트가 주창한 형식주의는 수학을 일련의 공리와 추론 규칙으로 이루어진 형식적인 기호 체계로 간주하고, 수학적 대상의 ‘의미’보다는 그 체계의 ‘무모순성’을 증명하는 데 초점을 맞추었다. 힐베르트는 “칸토어가 우리를 위해 창조한 낙원에서 누구도 우리를 내쫓을 수 없다”고 선언하며 칸토르의 이론을 옹호했지만, 동시에 그 낙원을 안전하게 만들기 위한 엄격한 규칙, 즉 공리의 필요성을 강조했다.

이처럼 수학의 기초를 둘러싼 논쟁은 20세기 초 수학계를 뜨겁게 달구었다. 칸토르가 열었던 무한의 문은 풍요로운 결실과 함께 해결해야 할 심각한 문제들을 동시에 안겨주었고, 수학자들은 이제 그 문제들과 정면으로 맞서 싸워야 했다.

러셀의 역설은 칸토르에게도 깊은 고민을 안겨주었을 것이다. 그는 이미 유사한 문제들을 인지하고 있었지만, 러셀의 역설은 그 문제의 심각성을 가장 명확하고 직접적으로 드러냈다. 그의 ‘소박한’ 집합론은 더 이상 유지될 수 없었다. 이제 남은 길은 집합을 구성하는 원리를 명확한 공리들로 제한하여 역설을 피하는 ‘공리적 집합론’으로 나아가는 것뿐이었다.

수학의 기초가 흔들리는 이 거대한 소용돌이 속에서, 칸토르는 자신의 이론이 어떻게 살아남고 발전해 나갈지 예측할 수 없었을 것이다. 그러나 그가 뿌린 씨앗은 이미 너무나 깊고 넓게 퍼져나가, 수학이라는 나무의 뿌리 그 자체가 되어가고 있었다. 비록 그 뿌리가 잠시 흔들렸지만, 그것은 더 깊고 튼튼하게 땅속으로 파고들기 위한 성장통과도 같았다. 그리고 그 성장통 속에서 현대 집합론의 새로운 시대가 열릴 준비를 하고 있었다.