모든 대수적 수의 집합은 셀 수 있다!

깊은 정신적 고통의 터널을 힘겹게 지나온 칸토르. 그의 건강은 예전 같지 않았지만, 무한에 대한 그의 열정은 완전히 사그라지지 않았다. 요양원에서 돌아온 후, 그는 잠시 연구에서 손을 놓기도 했지만, 그의 명민한 두뇌는 여전히 새로운 아이디어들을 잉태하고 있었다. 그리고 그 아이디어 중 하나는 또다시 수학계를 놀라게 할 만한 것이었다.

그것은 바로 ‘대수적 수(algebraic numbers)’의 집합에 관한 것이었다. 대수적 수란, 우리가 익히 아는 정수 계수를 가지는 다항 방정식의 해가 되는 모든 수를 의미한다. 예를 들어,

• x - 5 = 0 의 해인 5
• 2x + 3 = 0 의 해인 -3/2
• x² - 2 = 0 의 해인 √2 와 -√2
• x³ - x + 1 = 0 의 해 (이것은 복소수 해도 포함한다)

등이 모두 대수적 수이다. 모든 유리수는 ax + b = 0 (a≠0) 형태의 일차방정식의 해이므로, 당연히 대수적 수에 포함된다. 뿐만 아니라 루트 2처럼 명백한 무리수들도 대수적 수의 범주에 들어간다.

칸토르는 이미 유리수의 집합이 자연수와 같은 크기, 즉 ‘셀 수 있는 무한(ℵ₀)’임을 증명한 바 있었다. 그렇다면 유리수를 포함하고, 심지어 무리수까지 아우르는 이 ‘대수적 수’ 전체의 집합은 어떨까? 혹시 이 집합은 유리수보다 더 ‘커서’ 셀 수 없는 무한이 아닐까? 많은 수학자들이 그렇게 추측했을 법하다.

그러나 칸토르는 이 문제에 대해 놀라운 결론을 내놓았다. 그는 “모든 대수적 수의 집합은 셀 수 있다!”는 것을 증명해낸 것이다.

이것은 또 한 번의 충격이었다. 어떻게 그 복잡하고 다양해 보이는 대수적 수들을 모조리 자연수와 일대일로 짝지을 수 있단 말인가? 칸토르의 증명은 그의 특유의 창의성과 논리적 명쾌함이 빛나는 걸작이었다.

그의 아이디어는 다음과 같았다. 먼저 각 다항 방정식에 ‘높이(height)’라는 개념을 도입한다. 다항식 p(x) = aₙxⁿ + aₙ₋₁xⁿ⁻¹ + ... + a₁x + a₀ = 0 (여기서 aᵢ는 정수, aₙ≠0) 에 대해, 그 높이 H를 다음과 같이 정의한다.

H = n + |a₀| + |a₁| + ... + |aₙ|

즉, 다항식의 차수(n)와 모든 계수들의 절댓값의 합으로 높이를 정의하는 것이다. 예를 들어,

• x - 5 = 0 (n=1, a₁=1, a₀=-5) 의 높이 H = 1 + |-5| + |1| = 7
• x² - 2 = 0 (n=2, a₂=1, a₁=0, a₀=-2) 의 높이 H = 2 + |-2| + |0| + |1| = 5

중요한 것은, 주어진 어떤 자연수 k에 대해, 높이가 k인 다항 방정식은 유한개밖에 존재하지 않는다는 사실이다. (차수도 제한되고, 계수들의 합도 제한되므로) 그리고 각각의 다항 방정식은 유한개의 해(대수적 수)만을 가진다.

이제 칸토르는 다음과 같은 방식으로 모든 대수적 수를 세어 나갔다.

1. 높이 H가 가장 작은 다항 방정식들부터 시작한다. (예를 들어 H=1인 경우는 없다. 가장 작은 H는 2, 예를 들어 x=0의 경우 H=1+|0|+|1|=2)
2. 높이 H=2인 모든 다항 방정식들을 찾고, 그 해들을 나열한다. (중복되는 해는 한 번만 센다)
3. 다음으로 높이 H=3인 모든 다항 방정식들을 찾고, 그 해들을 이전 목록에 이어 붙인다.
4. 이러한 과정을 모든 자연수 높이 H에 대해 반복한다.

이러한 방식으로, 모든 대수적 수는 이 무한한 목록 어딘가에 반드시 나타나게 된다. 그리고 이 목록의 각 항목에 자연수 1, 2, 3, ...을 차례로 대응시키면, 결국 모든 대수적 수의 집합과 자연수의 집합 사이에 일대일 대응을 만들 수 있는 것이다!

따라서, 대수적 수의 집합의 크기는 ℵ₀ 이다!

이 결과는 몇 가지 중요한 의미를 내포하고 있었다. 첫째, ‘셀 수 있는 무한’의 영역이 생각보다 훨씬 넓다는 것을 보여주었다. 둘째, 만약 실수의 집합이 셀 수 없는 무한이라면(칸토르는 이미 대각선 논법으로 이를 증명했다), 그 ‘셀 수 없음’의 원인은 대수적 수가 아닌 다른 종류의 수들 때문이라는 결론에 이르게 된다.

그것이 바로 ‘초월수(transcendental numbers)’이다. 초월수란, 어떤 정수 계수의 다항 방정식의 해도 될 수 없는 수를 의미한다. 칸토르의 이 발견은 실수가 대부분 초월수로 이루어져 있다는 것을 강력하게 시사했다. 대수적 수는 셀 수 있을 만큼 ‘드문’ 존재인 반면, 초월수는 셀 수 없을 만큼 ‘빽빽하게’ 존재한다는 것이다.

당시 수학자들에게 초월수는 여전히 신비로운 존재였다. 리우빌이 1844년에 최초로 초월수의 존재를 증명했지만, 우리가 흔히 아는 원주율 π나 자연로그의 밑 e와 같은 수들이 초월수라는 사실은 아직 밝혀지기 전이었다. (에르미트가 1873년에 e가 초월수임을, 린데만이 1882년에 π가 초월수임을 증명하게 된다.) 칸토르의 연구는 이러한 초월수의 존재와 그 풍부함에 대한 간접적이지만 강력한 증거를 제공한 셈이었다.

정신적 고통 속에서도 칸토르의 지성은 여전히 빛나고 있었다. 그는 ‘셀 수 있다’와 ‘셀 수 없다’는 단순한 이분법을 넘어, 수의 세계에 숨겨진 놀라운 구조를 하나씩 밝혀내고 있었다. 그의 발견은 때로는 상식에 반하는 것처럼 보였지만, 그 안에는 엄밀한 논리와 깊은 통찰이 담겨 있었다.

그러나 이러한 눈부신 발견조차 그의 고독을 달래주지는 못했다. 학계의 주류는 여전히 그의 이론에 회의적이었고, 크로네커의 그림자는 그의 연구 활동을 계속해서 방해했다. 그럼에도 불구하고, 칸토르는 멈추지 않았다. 그의 다음 탐구는 더욱 기묘하고 역설적인, 그러나 아름다운 집합의 세계로 향하고 있었다. 그의 이름이 붙게 될, ‘먼지 위의 역설’이라 불리는 그 집합 말이다.