부랄리포르티 역설, 최초의 경고

칸토르가 ‘모든 것의 집합’이라는 위험한 생각과 씨름하며 그의 집합론의 기초에 드리워진 미묘한 그림자를 감지하고 있을 무렵, 이탈리아에서는 그의 불안감을 현실로 만드는 첫 번째 경고음이 울려 퍼졌다. 그 경고음의 주인공은 젊은 이탈리아 수학자 체사레 부랄리포르티(Cesare Burali-Forti)였다.

1897년, 부랄리포르티는 칸토르의 초한서수 이론을 연구하던 중 하나의 충격적인 모순을 발견하고 이를 발표했다. 이 모순은 칸토르가 어렴풋이 짐작했던 ‘모든 서수들의 집합’이라는 개념이 가진 치명적인 결함을 명확하게 드러내는 것이었다. 이것이 바로 ‘부랄리포르티 역설(Burali-Forti paradox)’로 알려지게 된, 집합론 역사상 최초로 명확하게 제시된 역설 중 하나였다.

칸토르의 이론에 따르면, 초한서수들은 크기 순서대로 잘 정돈된 계층을 이룬다:
0, 1, 2, ..., ω, ω+1, ..., ω·2, ..., ω², ..., ε₀, ...

그렇다면, 이 ‘모든 서수들의 집합’을 생각해 볼 수 있지 않을까? 칸토르 자신도 이 거대한 모임을 Ω (대문자 오메가)라는 기호로 표현하며 그 존재를 가정해 보았다. 만약 Ω가 하나의 잘 정의된 집합이라면, 몇 가지 중요한 성질을 가져야 한다.

1. Ω는 모든 서수를 원소로 가진다. (정의에 의해)
2. Ω는 서수들의 집합이므로, 그 자체로 잘 정돈된 집합이다. (각 서수는 그보다 작은 서수들의 집합으로 정의될 수 있고, 포함 관계에 의해 순서가 정해진다.)
3. 잘 정돈된 집합은 고유한 순서 유형, 즉 하나의 서수를 가진다. 따라서 Ω도 하나의 서수, 예를 들어 α라고 부를 수 있는 순서 유형을 가져야 한다.

여기까지는 그럴듯해 보인다. 그러나 문제는 지금부터 시작된다.

만약 Ω가 하나의 서수 α와 같다면 (즉, Ω의 순서 유형이 α라면), 이 서수 α는 Ω의 원소여야 할까, 아니면 아니어야 할까?

• 만약 서수 α가 Ω의 원소라면: Ω는 모든 서수들의 집합이므로, 그 안에 서수 α가 포함되는 것은 당연해 보인다. 그러나 서수의 정의에 따르면, 어떤 서수는 자기 자신을 원소로 포함할 수 없다. (예를 들어, 서수 3 = {0, 1, 2}는 3을 원소로 갖지 않는다.) 따라서 α는 Ω의 원소가 될 수 없다. 이것은 모순이다!

• 만약 서수 α가 Ω의 원소가 아니라면: α는 Ω, 즉 ‘모든 서수들의 집합’에 포함되지 않는 서수이다. 그런데 Ω는 모든 서수를 다 담고 있다고 가정했으므로, Ω에 포함되지 않는 서수는 존재할 수 없다. 이 또한 모순이다!

더 직접적인 모순은 다음과 같이 설명될 수 있다.
Ω가 모든 서수들의 집합이라고 하자. 칸토르의 이론에 따르면, 어떤 서수들의 집합이 주어졌을 때, 그 집합에 속하지 않는 가장 작은 서수가 항상 존재한다. (이것은 마치 자연수 집합에서 가장 큰 수가 없는 것과 유사하다. 어떤 자연수를 가져오든 그보다 큰 자연수가 항상 존재한다.)
따라서 Ω에 속하지 않는 가장 작은 서수 β가 존재해야 한다.

그런데 Ω는 ‘모든’ 서수들을 포함한다고 했으므로, β 역시 Ω의 원소여야 한다. 이것은 β가 Ω에 속하지 않으면서 동시에 Ω에 속해야 한다는 명백한 모순을 낳는다!

부랄리포르티가 제시한 이 역설은 칸토르가 이미 개인적으로 인지하고 있던 문제점을 공론화시킨 것이었다. 칸토르는 1895년과 1897년에 발표한 그의 주요 논문 「초한집합론의 기초 (Beiträge zur Begründung der transfiniten Mengenlehre)」에서 이미 ‘모순 없는 모임’과 ‘모순 있는 모임’을 구분하며, 모든 서수들의 시스템(system of all ordinal numbers)은 ‘절대적으로 무한하며 완결되지 않은 총체성(absolutely infinite and unfinished totality)’이므로 하나의 일관된 집합을 형성할 수 없다고 암시한 바 있었다.

그러나 부랄리포르티의 발표는 이 문제를 더욱 명확하고 충격적인 형태로 수학계에 던졌다. 그것은 마치 잘 지어진 것처럼 보이던 집합론이라는 아름다운 건축물의 기초에 심각한 균열이 있음을 알리는 경고등과 같았다.

이 역설은 칸토르의 ‘소박한 집합론’이 가진 근본적인 한계를 드러냈다. ‘잘 정의된 대상들의 모임은 모두 집합이다’라는 직관적인 생각만으로는 충분하지 않다는 것이 분명해졌다. 어떤 모임들은 너무나 커서, 하나의 완결된 ‘집합’으로 취급될 경우 스스로 모순을 일으키는 ‘괴물’이 될 수 있다는 사실이 드러난 것이다.

부랄리포르티 역설은 당시 수학계에 큰 파장을 일으키지는 않았다. 초한서수라는 개념 자체가 아직 생소했고, 대부분의 수학자들은 이것을 칸토르와 소수의 전문가들만이 다루는 난해한 문제로 여겼기 때문이다. 그러나 이 작은 균열은 더 큰 붕괴의 전조였다.

칸토르는 이 역설을 심각하게 받아들였다. 그는 자신의 이론을 방어하고 수정하기 위해 노력했지만, 근본적인 해결책을 찾기는 어려웠다. 그의 마음속에는 불안감이 더욱 커져갔다. 자신이 평생을 바쳐 건설한 무한의 제국이 혹시 모래 위에 지어진 성은 아닐까 하는 두려움이 엄습했다.

부랄리포르티 역설은 집합론의 역사에서 중요한 전환점이 되었다. 그것은 ‘무엇이 집합이 될 수 있는가?’라는 근본적인 질문을 던졌고, 이는 훗날 공리적 집합론(axiomatic set theory)의 탄생을 촉진하는 중요한 계기가 되었다. 칸토르가 열었던 무한의 문은 아름다운 풍경뿐만 아니라, 해결해야 할 심각한 문제점들도 함께 드러내고 있었던 것이다. 그리고 더 큰 폭풍이 곧 다가오고 있었다.