칸토어 집합, 먼지 위의 역설

칸토르의 정신은 여전히 회복과 재발의 불안정한 경계선을 오갔지만, 그의 수학적 탐구는 멈추지 않았다. 그는 이제 자신의 집합론적 도구들을 사용하여 더욱 기묘하고 직관에 반하는 대상들을 만들어내기 시작했다. 그중에서도 가장 유명하고 많은 논란을 불러일으킨 것이 바로 그의 이름이 붙은 ‘칸토어 집합(Cantor set)’이었다.

칸토어 집합은 마치 마술사의 모자에서 끝없이 나오는 비둘기처럼, 단순한 구성 과정 속에 놀라운 역설들을 숨기고 있었다. 그것은 ‘길이가 0’이지만 ‘셀 수 없이 많은 점’을 포함하는, 상식적으로는 도저히 이해하기 힘든 괴물 같은 존재였다.

그 구성 과정은 다음과 같다.

1. 시작 단계 (C₀): 0부터 1까지의 닫힌 구간 [0, 1]에서 시작한다. 이 선분의 길이는 1이다.

2. 첫 번째 단계 (C₁): C₀ 구간을 3등분하고, 그중 가운데 열린 구간 (1/3, 2/3)을 제거한다. 그러면 두 개의 닫힌 구간 [0, 1/3]과 [2/3, 1]이 남는다. 제거된 구간의 길이는 1/3이고, 남은 두 구간의 길이의 합은 2/3이다.

3. 두 번째 단계 (C₂): C₁에서 남은 두 개의 각 구간을 다시 3등분하고, 각각의 가운데 열린 구간 (1/9, 2/9)와 (7/9, 8/9)를 제거한다. 그러면 네 개의 닫힌 구간 [0, 1/9], [2/9, 1/3], [2/3, 7/9], [8/9, 1]이 남는다. 이번에 제거된 구간들의 길이 합은 2 * (1/9) = 2/9이고, 남은 네 구간의 길이 합은 4/9이다.

4. n번째 단계 (Cₙ): 이전 단계에서 남은 각 구간을 3등분하고 가운데 열린 구간을 제거하는 과정을 계속 반복한다.

이러한 과정을 무한히 반복했을 때, 최종적으로 남아있는 점들의 모임이 바로 ‘칸토어 집합 C’이다. 마치 선분 위에 미세한 먼지들만 남아 흩뿌려진 듯한 모습일 것이다.

그렇다면 이 칸토어 집합은 어떤 기묘한 성질들을 가지고 있을까?

첫 번째 역설: 전체 길이가 0이다!

각 단계에서 제거되는 구간들의 길이를 모두 더해보자.

• 첫 번째 단계에서 제거된 길이: 1/3
• 두 번째 단계에서 제거된 길이: 2 * (1/9) = 2/9
• 세 번째 단계에서 제거된 길이: 4 * (1/27) = 4/27
• n번째 단계에서 제거된 길이: 2ⁿ⁻¹ * (1/3ⁿ)

이 길이들을 모두 더하면, 1/3 + 2/9 + 4/27 + ... = (1/3) * [1 + (2/3) + (2/3)² + ...]
괄호 안은 첫째항이 1이고 공비가 2/3인 무한 등비급수이므로, 그 합은 1 / (1 - 2/3) = 3 이다.
따라서 제거된 전체 구간의 길이 합은 (1/3) * 3 = 1 이다!

원래 구간 [0, 1]의 길이가 1이었는데, 제거된 부분의 길이 합이 1이라는 것은, 남아있는 칸토어 집합의 ‘총 길이(측도, measure)’는 0이라는 놀라운 결론에 이르게 된다! 마치 선분을 계속 깎아내서 결국 아무것도 남지 않은 것처럼 보인다.

두 번째 역설: 셀 수 없이 많은 점을 포함한다!

길이가 0이라면, 칸토어 집합에는 점이 거의 없거나 유한개만 있어야 할 것 같다. 하지만 칸토르는 이 집합이 놀랍게도 ‘셀 수 없는 무한개의 점’을 포함한다는 것을 증명했다!

그는 각 점을 삼진법(ternary system)을 이용하여 표현하는 기발한 방법을 사용했다. 0과 1 사이의 모든 실수는 0과 1, 2만을 사용하는 삼진법 소수로 나타낼 수 있다. 칸토어 집합을 만드는 과정에서 가운데 1/3 구간을 제거한다는 것은, 삼진법 표현에서 소수점 첫째 자리가 ‘1’인 수들을 제외하는 것과 같다. (단, 1/3 = 0.1₀₀₀... = 0.0222... 와 같이 표현이 두 개인 경우는 주의가 필요하다. 칸토어 집합의 점들은 오직 0과 2만을 사용하여 삼진법으로 표현할 수 있는 점들로 구성된다.)

예를 들어,

• 0 = 0.000... (삼진법) 은 칸토어 집합에 속한다.
• 1 = 0.222... (삼진법) 은 칸토어 집합에 속한다. (원래 1.0 이지만, 0과 1 사이 구간에서 1을 이렇게 표현)
• 1/3 = 0.1 (삼진법)처럼 보이지만, 0.0222... 로 표현하면 칸토어 집합에 속한다. (끝점)
• 1/2 = 0.111... (삼진법) 은 소수점 자리에 1이 포함되므로 칸토어 집합에서 제거된다.

칸토어 집합에 속하는 모든 점들은 삼진법으로 표현했을 때 오직 0과 2만을 사용하는 수들이다. 이제 각 점의 삼진법 표현에서 2를 1로 바꾸면, 0과 1만을 사용하는 이진법(binary system) 표현을 얻을 수 있다. 그리고 0과 1만을 사용하는 모든 이진법 소수는 0과 1 사이의 모든 실수와 일대일 대응된다는 사실은 이미 알려져 있었다. (이는 대각선 논법으로 셀 수 없음을 보인 실수의 부분집합이다.)

따라서, 칸토어 집합의 점들은 [0, 1] 구간의 모든 실수와 (간접적으로) 일대일 대응될 수 있는 ‘셀 수 없는 무한개’의 점들을 가진다! 즉, 칸토어 집합의 크기는 연속체의 농도 c와 같다!

길이가 0인데 셀 수 없이 많은 점을 가진다? 이것은 그야말로 직관을 뒤엎는 충격적인 결과였다. 마치 부피가 없는 먼지 알갱이들이 모여 우주를 가득 채우는 것과 같은 역설이었다.

칸토어 집합은 당시 수학자들에게 큰 혼란과 논쟁을 불러일으켰다. 어떤 이들은 이러한 ‘괴물 같은’ 집합이 수학에 존재해서는 안 된다고 주장했고, 칸토르의 이론 전체에 대한 불신을 드러냈다. 그들에게 칸토어 집합은 칸토르가 만들어낸 ‘병적인’ 대상의 극단적인 예시처럼 보였다.

그러나 칸토르에게 칸토어 집합은 자신의 집합론이 가진 힘과 풍부함을 보여주는 중요한 사례였다. 그것은 무한의 세계가 우리의 일상적인 직관으로는 상상할 수 없는 놀라운 현상들로 가득 차 있다는 것을 증명하는 증거였다.

훗날 칸토어 집합은 위상수학, 프랙탈 기하학 등 다양한 수학 분야에서 중요한 역할을 하게 된다. 그것은 단순한 수학적 호기심의 대상을 넘어, 복잡계와 혼돈 이론을 이해하는 데에도 영감을 주는 모델이 되었다.

칸토르는 이 ‘먼지 위의 역설’을 통해 다시 한번 무한의 심연을 들여다보았다. 그 심연은 때로는 아름답고 질서정연했지만, 때로는 기괴하고 혼란스러웠다. 그러나 그는 그 모든 모습이 무한의 진정한 얼굴이라고 믿었다. 그의 정신은 여전히 위태로웠지만, 그의 지성은 더욱 날카롭게 빛나고 있었다. 그의 여정은 아직 끝나지 않았다.