초한수, 무한을 넘어서는 수

칸토르의 지칠 줄 모르는 탐구는 무한집합의 ‘크기’를 나타내는 ‘초한기수(transfinite cardinal numbers)’를 넘어, 무한집합의 ‘순서’를 다루는 새로운 개념으로 확장되었다. 그는 단순히 얼마나 많은 원소가 있느냐를 넘어, 그 원소들이 어떤 순서로 배열될 수 있느냐에 주목하기 시작했다. 이것이 바로 ‘초한서수(transfinite ordinal numbers)’의 세계로 들어서는 입구였다.

유한한 세계에서 ‘개수’와 ‘순서’는 밀접하게 연결되어 있다. 예를 들어, 다섯 개의 사과가 있다면 우리는 그것들을 첫 번째, 두 번째, 세 번째, 네 번째, 다섯 번째 사과라고 부르며 자연스럽게 순서를 매길 수 있다. 마지막 사과의 순서(다섯 번째)는 동시에 사과의 총 개수(다섯 개)를 나타낸다.

하지만 무한의 세계에서는 이 관계가 간단치 않다. 칸토르는 이미 자연수의 집합 N = {1, 2, 3, ...}과 짝수의 집합 E = {2, 4, 6, ...}이 같은 ‘크기’(ℵ₀)를 가진다는 것을 보였다. 그러나 이 두 집합의 원소들을 자연스러운 순서대로 배열하면 그 ‘모양’은 사뭇 다르다.

칸토르는 ‘잘 정돈된 집합(well-ordered set)’이라는 개념에 주목했다. 잘 정돈된 집합이란 그 집합의 비어있지 않은 모든 부분집합이 항상 가장 작은 원소(first element)를 가지는 집합을 의미한다. 예를 들어, 자연수의 집합은 잘 정돈되어 있다. 어떤 자연수의 부분집합을 생각하든 (예: {5, 2, 8}) 그 안에는 항상 가장 작은 원소(이 경우 2)가 존재한다.

칸토르는 이 잘 정돈된 집합들의 ‘순서 유형(order type)’을 나타내는 수를 생각했다. 이것이 바로 ‘서수(ordinal number)’이다.

• 공집합 {}의 순서 유형은 0이다.
• {1}의 순서 유형은 1이다.
• {1, 2}의 순서 유형은 2이다.
• {1, 2, 3}의 순서 유형은 3이다.
  ...
  유한한 경우에는 서수와 기수가 일치한다.

그렇다면 무한한 잘 정돈된 집합의 순서 유형은 어떻게 될까? 칸토르는 자연수의 표준적인 순서 {1, 2, 3, ...}가 가지는 순서 유형에 그리스 알파벳의 마지막 글자인 ‘오메가(ω)’라는 기호를 부여했다.

ω: 가장 작은 초한서수 (자연수 전체의 순서 유형)

이 ω는 ℵ₀와는 다른 개념이다. ℵ₀는 단순히 ‘얼마나 많은가’를 나타내는 크기의 개념인 반면, ω는 ‘어떤 순서로 배열되어 있는가’를 나타내는 순서의 개념이다.

칸토르는 여기서 멈추지 않았다. 그는 이 ω를 넘어서는 새로운 서수를 구성하기 시작했다. 마치 아이가 블록을 쌓아 올리듯, 그는 기존의 서수들을 이용하여 더 큰 서수들을 만들어냈다.

• {1, 2, 3, ..., ω}: 자연수 전체 다음에 새로운 원소 ω를 추가한 순서. 이 순서 유형을 ω+1 이라고 불렀다. (마치 끝없이 이어진 자연수 줄 맨 뒤에 또 다른 누군가가 서 있는 모습)
• {1, 2, 3, ..., ω, ω+1}: 그 다음에 또 하나의 원소를 추가하면 ω+2가 된다.
• ...
• {1, 2, ..., ω, ω+1, ω+2, ..., ω+ω}: 자연수 두 줄을 이어 붙인 것과 같은 순서. 이것을 ω·2 (또는 2ω) 라고 불렀다.
• {1, 2, ..., ω, ω+1, ..., ω·2, ω·2+1, ..., ω·3}: 자연수 세 줄을 이어 붙인 순서.
• ...
• ω·ω = ω²: 자연수만큼의 자연수 줄들을 이어 붙인 순서.
• ω³, ω⁴, ..., ωω, ωωω ...
• 그리고 이 모든 ω의 거듭제곱 형태를 넘어서는 더 큰 초한서수 ε₀ (엡실론 널) 까지.

칸토르가 만들어낸 이 초한서수들의 세계는 그야말로 장관이었다. 그것은 마치 무한을 넘어서, 또 다른 무한의 계단이 끝없이 이어지는 거대한 탑과 같았다. “무한 다음에도 순서가 있다니?” 이 생각은 당시 수학자들에게는 너무나 생경하고 받아들이기 힘든 것이었다.

크로네커와 같은 유한주의자들은 칸토르의 초한서수 이론을 광기 어린 망상으로 치부했다.
“ω니 ω+1이니 하는 것들은 대체 무엇을 의미하는가! 이것은 수가 아니라 기호 유희에 불과하다! 칸토르는 수학의 영역을 넘어서고 있다!”

그들의 비판은 칸토르에게 깊은 상처를 주었지만, 칸토르는 자신의 발견이 논리적으로 타당하며, 무한의 구조를 이해하는 데 필수적이라고 확신했다. 그는 이 초한서수들이 단순히 기호 놀음이 아니라, 잘 정돈된 집합들의 본질적인 구조를 반영한다고 믿었다.

실제로 칸토르는 이 초한서수들을 이용하여 점집합 이론에서 ‘제1종 집합’과 ‘제2종 집합’을 구분하는 데 사용했다. 어떤 점집합 P의 도집합을 반복적으로 취하여 P(ω), P(ω+1), P(ω·2) 등과 같이 초한번 반복하는 과정을 생각할 수 있었고, 이를 통해 점집합의 복잡한 구조를 더욱 세밀하게 분석할 수 있었다.

그러나 초한서수 이론은 일반 수학자들이 이해하고 받아들이기에는 너무나 추상적이고 난해했다. 칸토르 자신도 이 이론을 발전시키는 과정에서 수많은 기술적인 어려움과 개념적인 혼란에 직면해야 했다. 특히 ‘모든 집합은 잘 정돈될 수 있는가?(Well-ordering principle)’라는 질문은 그를 괴롭혔고, 이는 훗날 ‘선택공리(Axiom of Choice)’라는 또 다른 격렬한 논쟁의 씨앗이 된다.

초한서수의 발견은 칸토르의 천재성을 보여주는 또 다른 증거였지만, 동시에 그를 더욱 깊은 고립과 오해 속으로 밀어 넣는 결과를 낳기도 했다. 그는 무한의 심연을 너무 깊이 들여다본 것일까? 그의 손에서 탄생한 이 기묘하고 아름다운 ‘무한 너머의 수’들은 그에게 영광과 함께 고독이라는 그림자를 드리우고 있었다. 그의 여정은 점점 더 외롭고 험난해져 가고 있었다.