공리적 집합론의 필요성

러셀의 역설이 터져 나온 이후, 수학계는 그야말로 혼돈의 도가니에 빠졌다. 칸토르가 제시한 ‘소박한 집합론’의 기초, 즉 ‘어떤 조건이든 만족하는 대상들의 모임은 집합이다’라는 직관적인 원리가 모순을 일으킨다는 사실은 너무나 충격적이었다. 수학이라는 가장 확실하고 논리적인 학문의 토대가 이토록 불안정하다는 사실에 많은 수학자들이 경악했다.

마치 잘 지어진 줄 알았던 웅장한 건물의 설계도에 치명적인 결함이 발견된 것과 같았다. 건물을 완전히 허물고 새로 지어야 할까? 아니면 결함이 있는 부분만 보수하고 강화하여 계속 사용할 수 있을까? 수학자들은 이 근본적인 질문 앞에서 깊은 고민에 빠졌다.

칸토르 자신도 이러한 문제점을 인지하고 있었지만, 그의 건강은 이미 너무 악화되어 이 거대한 과제를 해결할 만한 정신적, 육체적 여력이 남아있지 않았다. 그의 역할은 무한의 문을 열고 그 안에 숨겨진 경이로운 세계를 처음으로 보여주는 것이었다면, 이제 그 세계를 안전하고 체계적으로 탐험할 수 있는 ‘지도’와 ‘규칙’을 만드는 것은 다음 세대 수학자들의 몫으로 넘어가고 있었다.

역설들을 피하기 위한 가장 유력한 방법은 ‘집합’이라는 개념을 무분별하게 사용하는 것을 제한하는 것이었다. 즉, ‘어떤 모임이 과연 진정한 의미의 집합이 될 수 있는가?’에 대한 명확하고 엄격한 규칙, 즉 ‘공리(axiom)’를 설정해야 한다는 인식이 확산되기 시작했다.

공리란, 어떤 이론 체계의 가장 기본적인 출발점이 되는 명제들로, 그 자체는 증명 없이 참으로 받아들여지는 것들을 말한다. 유클리드 기하학이 몇 가지 공리(예: 두 점을 지나는 직선은 유일하다) 위에서 거대한 이론 체계를 쌓아 올렸듯이, 집합론 역시 안전하고 모순 없는 이론 체계를 구축하기 위해서는 견고한 공리적 토대가 필요하다는 목소리가 높아졌다.

이러한 움직임을 ‘공리적 집합론(axiomatic set theory)’으로의 전환이라고 부른다. 소박한 집합론이 직관에 의존하여 자유롭게 집합을 구성했다면, 공리적 집합론은 오직 명시된 공리들을 통해서만 집합의 존재와 성질을 인정하려 했다. 이는 마치 야생의 땅에 울타리를 치고 길을 내어 질서를 부여하는 것과 같았다.

공리적 집합론의 목표는 명확했다. 러셀의 역설과 같은 모순을 야기하는 ‘너무 큰’ 모임(예: 모든 집합들의 집합, 자기 자신을 원소로 포함하지 않는 모든 집합들의 집합)들이 애초에 ‘집합’으로 간주될 수 없도록 공리들을 설계하는 것이었다.

예를 들어, ‘분리 공리꼴(Axiom schema of Specification 또는 Axiom schema of Separation)’이라는 중요한 공리가 있다. 이 공리는 이미 존재하는 어떤 집합 A와 어떤 조건 P(x)가 주어졌을 때, A의 원소들 중에서 조건 P(x)를 만족하는 것들로만 이루어진 새로운 모임 {x ∈ A | P(x)}은 집합이라고 말한다. 여기서 중요한 것은 ‘이미 존재하는 집합 A의 부분집합’으로서만 새로운 집합을 구성할 수 있도록 제한한다는 점이다. 이것은 ‘모든 것을 담는 우주 집합’ 같은 것을 가정하지 않고, 기존의 집합으로부터 ‘잘라내는’ 방식으로만 집합을 만들도록 하여 러셀의 역설과 같은 문제를 회피하려는 시도였다.

또 다른 중요한 공리로는 ‘멱집합 공리(Axiom of Power Set)’가 있다. 이 공리는 어떤 집합 A가 주어졌을 때, A의 모든 부분집합들을 원소로 가지는 집합, 즉 멱집합 P(A)가 항상 존재함을 보장한다. 칸토르가 ‘가장 큰 기수는 없다’는 자신의 역설을 증명하는 데 사용했던 바로 그 멱집합 개념을 공리적으로 뒷받침하는 것이다.

이 외에도 공집합의 존재를 보장하는 공리, 두 집합의 합집합이나 교집합의 존재를 보장하는 공리, 무한집합의 존재를 보장하는 ‘무한 공리(Axiom of Infinity)’ 등 여러 공리들이 제안되고 논의되기 시작했다.

이러한 공리화 작업은 결코 쉽지 않았다. 어떤 공리들을 선택해야 하는지, 그 공리들이 정말로 역설을 피할 수 있는지, 그리고 동시에 칸토르가 발견한 풍부한 집합론의 결과들을 대부분 보존할 수 있는지 등 해결해야 할 문제들이 산적해 있었다.

다비트 힐베르트는 이러한 공리화 작업의 중요성을 강력하게 역설했다. 그는 칸토르의 낙원을 지키기 위해서는 그 낙원을 다스리는 명확한 ‘법률’, 즉 공리가 필요하다고 보았다. 그의 형식주의 프로그램은 이러한 공리적 집합론을 통해 수학 전체의 무모순성을 증명하려는 야심 찬 계획의 일부였다.

바야흐로 집합론은 소박한 직관의 시대를 지나, 엄밀한 공리의 시대로 접어들고 있었다. 이 새로운 시대의 문을 연 인물은 독일의 수학자 에른스트 체르멜로였다. 그는 칸토르의 이론을 깊이 연구하고 역설들의 문제점을 인식하면서, 최초의 포괄적인 집합론 공리계를 제시하게 된다. 그의 작업은 현대 집합론의 초석을 놓는 결정적인 계기가 되었다.

칸토르가 열었던 무한의 문은 잠시 역설의 폭풍우에 휩싸였지만, 이제 공리라는 단단한 방파제가 세워지기 시작했다. 그 방파제 안에서 수학자들은 다시 한번 안전하게 무한의 바다를 항해할 준비를 하고 있었다. 소박한 꿈은 깨졌지만, 그 꿈의 잔해 위에서 더욱 견고하고 아름다운 새로운 꿈이 피어나고 있었다.