집합론, 수학의 모든 분야를 연결하다

칸토르가 씨앗을 뿌리고, 체르멜로와 프렝켈, 스콜렘 등이 토대를 다졌으며, 괴델과 코언이 그 한계와 가능성을 탐험했던 집합론. 20세기 중반을 넘어서면서, 이 한때 논란 많고 이단시되던 이론은 놀랍게도 현대 수학의 거의 모든 분야를 관통하는 보편적인 언어이자 강력한 도구로 자리매김하게 되었다. 마치 공기가 생명체의 존재에 필수적이듯, 집합론은 수학이라는 거대한 유기체의 모든 세포에 스며들어 그 생명력을 유지하고 발전시키는 데 핵심적인 역할을 수행하게 된 것이다.

어떻게 이런 일이 가능했을까? 그 비밀은 집합론이 가진 놀라운 ‘표현력’과 ‘통일성’에 있었다. 수학에서 다루는 거의 모든 대상, 예를 들어 수, 함수, 관계, 공간, 구조 등은 결국 ‘집합’과 그 원소들의 관계로 정의되고 기술될 수 있다는 사실이 밝혀졌기 때문이다.

가장 기본적인 수 체계부터 살펴보자. 우리가 일상적으로 사용하는 자연수, 정수, 유리수, 실수, 심지어 복소수까지도 모두 집합론적인 구성을 통해 엄밀하게 정의될 수 있다. 예를 들어, 폰 노이만(John von Neumann)은 자연수를 다음과 같이 집합으로 정의했다.

0 = ∅ (공집합)
1 = {0} = {∅}
2 = {0, 1} = {∅, {∅}}
3 = {0, 1, 2} = {∅, {∅}, {∅, {∅}}}

이처럼 각 자연수는 그 이전의 모든 자연수들을 원소로 가지는 집합으로 정의되며, 이는 덧셈, 곱셈과 같은 산술 연산의 기초를 제공한다. 이러한 정의는 다소 인위적으로 보일 수 있지만, 수의 개념을 가장 원초적인 집합 개념으로 환원시킨다는 점에서 중요한 의미를 지닌다.

함수 역시 집합론의 언어로 명확하게 정의될 수 있다. 함수 f: A → B 는 정의역 A의 각 원소 a에 대해 공역 B의 유일한 원소 f(a)를 대응시키는 관계인데, 이 관계 자체를 순서쌍 (a, f(a))들의 집합, 즉 그래프(graph)로 간주할 수 있다. 예를 들어, f(x) = x² 라는 함수는 {(1,1), (2,4), (3,9), ...} 와 같은 순서쌍들의 집합으로 표현될 수 있는 것이다.

기하학에서 다루는 공간과 도형들도 마찬가지다. 유클리드 공간은 실수들의 순서쌍(점)들의 집합으로 정의될 수 있고, 직선, 평면, 원, 다각형 등은 이 공간의 특정한 부분집합들로 기술될 수 있다. 칸토르 자신이 개척했던 점집합 이론은 이러한 아이디어의 초기 형태였으며, 이는 훗날 위상수학(topology)이라는 더욱 일반적이고 추상적인 공간 이론으로 발전하는 데 큰 영향을 미쳤다. 위상수학은 열린집합, 닫힌집합, 연속성, 극한 등의 개념을 집합론적인 틀 안에서 엄밀하게 다루며, 현대 수학의 중요한 한 축을 이루고 있다.

대수학에서 다루는 군(group), 환(ring), 체(field)와 같은 다양한 대수적 구조들 역시 특정 조건을 만족하는 연산이 정의된 집합으로 간주된다. 예를 들어, 군은 어떤 집합 G와 그 위의 이항 연산 * 가 결합법칙을 만족하고, 항등원과 역원이 존재할 때 정의된다. 이처럼 추상적인 대수적 구조들을 집합과 연산, 그리고 공리들을 통해 명확하게 기술함으로써, 수학자들은 다양한 분야에 흩어져 있던 유사한 구조들을 통일적으로 이해하고 연구할 수 있게 되었다.

심지어 논리학 자체도 집합론의 영향을 받았다. 명제, 증명, 모델 등의 개념을 집합론적인 대상으로 간주하여 연구하는 수리논리학(mathematical logic)은 괴델의 불완전성 정리와 같은 심오한 결과들을 낳으며 수학의 기초에 대한 이해를 더욱 깊게 만들었다.

이처럼 집합론은 수학의 다양한 분야들을 하나로 묶는 ‘공통의 분모’ 역할을 수행하게 되었다. 마치 서로 다른 언어를 사용하던 부족들이 공통의 문자를 발견하여 서로 소통하고 지식을 교환할 수 있게 된 것과 같았다. 수학자들은 이제 집합론이라는 보편적인 언어를 사용하여 자신의 아이디어를 명확하게 표현하고, 다른 분야의 연구 결과들을 이해하며, 새로운 분야를 개척할 수 있게 된 것이다.

프랑스의 수학자 그룹 니콜라 부르바키(Nicolas Bourbaki)는 이러한 집합론 중심의 수학 체계화를 강력하게 추진했다. 그들은 「수학 원론(Éléments de mathématique)」이라는 방대한 저작을 통해 수학의 거의 모든 분야를 집합론적인 기초 위에 엄밀하게 재구성하려 시도했다. 비록 부르바키의 접근 방식이 지나치게 형식적이고 추상적이라는 비판도 있었지만, 그들의 작업은 집합론이 현대 수학의 기초 언어로서 확고히 자리매김하는 데 큰 영향을 미쳤다.

칸토르가 처음 ‘멩에(Menge)’라는 이름의 그릇을 세상에 내놓았을 때, 그는 이 그릇이 이토록 광대한 수학의 우주 전체를 담아낼 수 있을 것이라고 상상이나 했을까? 그의 이론은 한때 논란과 오해의 대상이었지만, 결국에는 수학의 모든 분야를 연결하고 통일하는 강력한 힘을 가진 핵심 이론으로 발전했다.

그가 열었던 무한의 문은 단순히 무한의 크기를 비교하는 것을 넘어, 수학 전체의 구조를 새롭게 바라보는 창이 되었던 것이다. 칸토르의 유산은 이제 특정 분야에 국한되지 않고, 수학이라는 거대한 나무의 뿌리이자 줄기, 그리고 가지와 잎맥 곳곳에 스며들어 그 생명력을 유지하고 풍성한 열매를 맺도록 하는 근원적인 힘이 되었다. 그의 정신은 수학의 모든 분야에서 살아 숨 쉬며, 새로운 발견과 탐험을 이끌고 있었다.