점집합 이론, 무한의 기하학
제17화
발행일: 2025년 06월 18일
크로네커의 거센 비난과 학계의 냉대 속에서도, 칸토르는 자신의 연구를 멈추지 않았다. 오히려 그는 자신의 이론을 더욱 정교하게 다듬고 확장시켜 나갔다. 특히 그가 삼각급수의 유일성 문제를 연구하면서 처음 발을 들여놓았던 ‘점집합(Punktmenge, point set)’에 대한 탐구는 집합론의 중요한 한 축으로 발전해 나갔다.
점집합 이론은 말 그대로 수직선이나 평면, 또는 더 높은 차원의 공간 위에 흩어져 있는 ‘점들의 모임’의 성질을 연구하는 분야였다. 칸토르에게 이 점집합들은 단순한 기하학적 대상이 아니었다. 그것은 무한의 다양한 측면을 보여주는 구체적인 사례들이자, 그의 집합론적 아이디어를 시험하고 발전시키는 실험장이었다.
그는 이미 ‘도집합(derived set)’이라는 개념을 통해 점집합의 ‘빽빽한’ 정도를 분석한 바 있었다. 어떤 점집합 P가 주어졌을 때, 그 극한점들의 모임인 도집합 P'은 P의 구조를 파악하는 데 중요한 단서를 제공했다. P'이 공집합이면 P의 점들은 서로 떨어져 흩어져 있는 것이고, P'이 P 자신과 같으면 P는 모든 점이 극한점인 ‘완전집합(perfect set)’이 된다.
칸토르는 이 도집합 개념을 더욱 깊이 파고들었다. 그는 P'의 도집합인 P'', 또 P''의 도집합인 P''' 등을 연쇄적으로 생각했다. 이렇게 유한 번 도집합을 취했을 때 결국 공집합이 되는 점집합들을 그는 ‘제1종 집합(sets of the first species)’이라고 불렀다. 반면, 아무리 도집합을 반복해도 공집합이 되지 않는 점집합들은 ‘제2종 집합(sets of the second species)’이라고 구분했다.
이러한 분류는 점집합의 ‘복잡성’ 또는 ‘무한성의 정도’를 가늠하는 하나의 척도가 되었다. 예를 들어, {1, 1/2, 1/3, 1/4, ...} 와 같은 점집합 P를 생각해보자. 이 집합의 유일한 극한점은 0이다. 따라서 P' = {0} 이고, P'' = ∅ (공집합) 이 된다. 이 경우 P는 제1종 집합이다.
칸토르는 이 점집합 이론을 통해 무한집합의 기하학적 구조를 탐구하려 했다. 그는 ‘고립점(isolated point)’, ‘내점(interior point)’, ‘경계점(boundary point)’, ‘열린집합(open set)’, ‘닫힌집합(closed set)’ 등 오늘날 위상수학(topology)의 기본적인 어휘가 되는 수많은 개념들을 도입하거나 정교하게 다듬었다.
예를 들어, ‘열린집합’은 그 집합 안의 모든 점이 그 점을 포함하는 작은 ‘열린 구간’을 가질 때를 의미한다. (0, 1)과 같은 열린 구간은 열린집합이다. 반면, ‘닫힌집합’은 모든 극한점을 자신 안에 포함하는 집합이다. [0, 1]과 같은 닫힌 구간은 닫힌집합이며, 유한개의 점으로 이루어진 집합도 닫힌집합이다.
이러한 개념들은 칸토르에게 단순한 정의의 나열이 아니었다. 그는 이 도구들을 사용하여 점집합들의 성질을 분석하고, 그 결과를 자신의 집합론적 틀 안에서 설명하려 했다. 특히 그는 ‘완전집합’에 깊은 관심을 가졌다. 완전집합은 모든 점이 극한점이면서 동시에 닫힌집합인, 매우 ‘잘 채워진’ 형태의 집합이다.
그는 놀랍게도 “모든 비어있지 않은 완전집합은 셀 수 없는 무한개의 점을 가진다”는 정리를 증명했다. 이것은 그의 대각선 논법과 더불어, 셀 수 없는 무한의 존재를 뒷받침하는 또 다른 강력한 증거가 되었다.
칸토르의 점집합 이론 연구는 당시 수학계에서 다소 생소한 분야였다. 기하학은 주로 도형의 합동이나 닮음, 곡선의 길이, 면적 등을 다루는 전통적인 방식에 머물러 있었고, ‘점들의 모임’ 자체의 추상적인 구조를 탐구하는 것은 새로운 시도였다.
어떤 이들은 칸토르의 이러한 연구가 너무 추상적이고 현실과 동떨어져 있다고 비판하기도 했다. 그들은 칸토르가 만들어내는 기묘한 점집합들(예를 들어, 나중에 등장할 ‘칸토어 집합’)이 실제 세계와 무슨 관련이 있느냐고 반문했다.
그러나 칸토르는 이 점집합 이론이 자신의 집합론을 구체화하고, 무한의 다양한 모습을 탐구하는 데 필수적이라고 믿었다. 그의 연구는 마치 현미경으로 미생물의 세계를 관찰하듯, 수직선 위의 점들이 만들어내는 미시적인 우주를 탐험하는 것과 같았다. 그는 이 미시적인 우주 안에 거시적인 무한의 법칙들이 숨겨져 있다고 생각했다.
훗날 칸토르의 점집합 이론은 앙리 푸앵카레, 펠릭스 하우스도르프 등 후대의 수학자들에게 큰 영향을 미치며, 현대 수학의 중요한 분야인 ‘위상수학’의 기초를 마련하는 데 결정적인 역할을 하게 된다. 그가 뿌린 씨앗은 당대에는 충분한 인정을 받지 못했지만, 시간이 흘러 거대한 나무로 자라나 수학의 풍경을 바꾸어 놓았던 것이다.
크로네커의 비판 속에서도 칸토르는 묵묵히 자신만의 길을 걸었다. 그의 손에서는 점과 선, 그리고 무한이라는 재료들이 뒤섞여 새로운 형태의 수학적 구조물들이 빚어지고 있었다. 그것은 마치 무한의 기하학, 혹은 무한의 건축술과도 같았다. 그리고 그 건축물의 가장 높은 첨탑에는 여전히 ‘연속체 가설’이라는 풀리지 않는 깃발이 나부끼고 있었다.
