"모든 것의 집합"이라는 위험한 생각

칸토르가 셰익스피어의 수수께끼와 신학의 심오함 속에서 잠시 위안을 찾는 동안에도, 그가 세상에 내놓은 ‘집합’이라는 개념은 조용히, 그러나 강력하게 수학계에 스며들고 있었다. 그의 초기 집합론은 매우 직관적이고 단순했다. 그는 ‘집합(Menge)’을 “우리의 직관이나 사고에 의해 잘 정의되고 서로 구별 가능한 특정 대상들의 모임”이라고 정의했다.

이 정의는 매우 포괄적이어서, 거의 모든 것을 집합의 대상으로 삼을 수 있을 것처럼 보였다. 숫자들의 모임, 점들의 모임, 함수들의 모임뿐만 아니라, 심지어 ‘모든 생각들’, ‘모든 감정들’과 같은 추상적인 대상들까지도 어떤 조건을 부여하면 집합으로 간주할 수 있을 것 같았다.

칸토르 자신도 이러한 포괄성을 바탕으로 매우 거대한 집합들을 생각하기 시작했다. 예를 들어, 그가 탐구했던 ‘모든 초한서수들의 집합’이나 ‘모든 초한기수들의 집합’ 같은 것들이 그러했다. 그의 집합론은 마치 모든 것을 담을 수 있는 마법의 그릇처럼 보였다.

이러한 칸토르의 초기 집합론을 오늘날에는 ‘소박한 집합론(naive set theory)’이라고 부른다. ‘소박하다’는 말에는 두 가지 의미가 담겨 있다. 하나는 복잡한 공리 체계 없이 직관에 의존한다는 의미이고, 다른 하나는 그 직관이 때로는 위험한 결과를 초래할 수 있다는 암시이기도 하다.

칸토르의 정의에 따르면, 어떤 조건 P(x)가 주어졌을 때, 그 조건을 만족하는 모든 대상 x들의 모임 {x | P(x)}는 하나의 집합을 형성하는 것처럼 보였다. 예를 들어, “x는 짝수이다”라는 조건 P(x)가 있다면, {x | x는 짝수이다}는 짝수들의 집합을 형성한다. 이것은 매우 자연스럽고 합리적으로 보인다.

그러나 이러한 ‘무제한적인 집합 생성 원리’는 곧 심각한 문제에 봉착하게 된다. 만약 우리가 “x는 집합이다”라는 조건을 생각한다면 어떨까? 그렇다면 {x | x는 집합이다}, 즉 ‘모든 집합들의 집합(the set of all sets)’이라는 것도 존재할 수 있을까?

이 생각은 매우 유혹적이지만, 동시에 극도로 위험한 것이었다. 만약 ‘모든 집합들의 집합’이라는 것이 정말로 존재한다면, 그 집합 자신도 하나의 집합이므로, 자기 자신을 원소로 포함해야 하는 기묘한 상황에 놓이게 된다.

칸토르 자신도 이러한 거대한 집합들을 다루면서 뭔가 석연치 않은 점을 느끼기 시작했다. 그의 연구 노트에는 ‘모순 없는 모임(consistent multiplicity)’과 ‘모순 있는 모임(inconsistent multiplicity)’이라는 용어가 등장한다. 그는 어떤 모임들은 너무 커서 하나의 ‘완결된 전체’, 즉 집합으로 간주될 수 없다고 생각하기 시작했다. 이러한 ‘모순 있는 모임’은 오늘날 우리가 ‘고유 모임(proper class)’이라고 부르는 개념과 유사하다.

예를 들어, ‘모든 초한서수들의 집합’을 Ω(대문자 오메가)라고 가정해보자. 만약 Ω가 하나의 완결된 집합이라면, 그 자체로 하나의 서수가 되어야 한다. 그런데 이 서수 Ω는 자신이 포함하고 있는 모든 서수들보다 커야 한다. 이것은 Ω가 자기 자신보다 크다는 모순을 낳는다!

이러한 생각들은 칸토르에게 새로운 불안감을 안겨주었다. 그가 만들어낸 집합론이라는 아름다운 건축물에 미세한 균열이 생기기 시작한 것이다. 그는 이 문제를 해결하기 위해 노력했지만, 명쾌한 해답을 찾기는 어려웠다.

당시 대부분의 수학자들은 이러한 미묘한 논리적 문제점들을 심각하게 받아들이지 않았다. 그들은 칸토르의 집합론을 구체적인 수학 문제 해결에 유용한 도구 정도로 여겼고, 그 기초에 대한 철학적인 고민은 칸토르와 소수의 논리학자들에게 국한된 것처럼 보였다.

그러나 이 ‘모든 것의 집합’이라는 위험한 생각 속에 숨겨진 논리적 폭탄은 조용히 시간을 기다리고 있었다. 칸토르 자신도 어렴풋이 감지했던 이 균열은, 머지않아 그의 집합론 전체를 뒤흔들 만한 강력한 역설의 형태로 터져 나오게 될 터였다.

이탈리아의 수학자 체사레 부랄리포르티(Cesare Burali-Forti)가 바로 칸토르가 고민했던 ‘모든 서수들의 집합’에서 발생하는 역설을 1897년에 명확하게 제시하게 된다. 그리고 칸토르 자신도 비슷한 시기에 ‘가장 큰 기수는 존재할 수 없다’는, 멱집합을 이용한 또 다른 역설을 발견한다.

칸토르가 열어젖힌 무한의 세계는 풍요로운 만큼이나 위험한 곳이었다. 그곳에는 아름다운 보석뿐만 아니라 치명적인 독을 품은 뱀도 숨어 있었다. 그는 자신이 만든 그릇이 너무 커서, 그 안에 무엇이든 담으려 했던 것이 문제였을까? 그의 ‘소박한’ 집합론은 이제 더 이상 소박하게 남아 있을 수 없는 운명에 처해 있었다. 역설의 그림자가 그의 이론 위로 길게 드리워지기 시작한 것이다. 그리고 그 그림자는 곧 버트런드 러셀이라는 젊은 천재의 손에 의해 걷잡을 수 없이 커지게 될 터였다.