실수, 셀 수 없는 바다인가?

크로네커의 차가운 경고에도 불구하고, 칸토르의 지적 호기심은 멈출 줄 몰랐다. 자연수의 집합, 짝수의 집합, 정수의 집합, 그리고 심지어 그 빽빽한 유리수의 집합까지도 결국 자연수와 ‘같은 크기’의 무한함을 가진다는 사실을 밝혀낸 그는 이제 다음 목표를 향해 시선을 돌렸다. 그 목표는 바로 ‘실수(real numbers)’의 집합이었다.

수직선 위에 존재하는 모든 점들. 유리수와 무리수를 합쳐놓은 광대한 수의 영역. 직관적으로 실수는 유리수보다 훨씬 더 ‘꽉 찬’ 느낌을 주었다. 유리수 사이에는 항상 또 다른 유리수가 존재하지만, 그럼에도 불구하고 수직선 위에는 유리수만으로는 메울 수 없는 ‘구멍’들이 무수히 많았다. 루트 2, 루트 3, 원주율 파이(π), 자연로그의 밑 오일러 수(e)와 같은 무리수들이 바로 그 구멍들을 채우고 있었다.

칸토르는 생각했다.
‘자연수와 유리수가 같은 크기의 무한이라면, 이 실수들은 어떨까? 혹시 실수야말로 자연수보다 더 큰, 진정으로 ‘셀 수 없는’ 무한이 아닐까?’

이 질문은 그의 가슴을 두근거리게 만들었다. 만약 이것이 사실이라면, ‘무한에도 크기가 있다’는 그의 가설은 더욱 강력한 힘을 얻게 될 터였다. 그것은 단순히 무한의 종류를 나누는 것을 넘어, 무한의 계층 구조가 존재한다는 혁명적인 주장의 서막이 될 수 있었다.

그는 먼저 실수의 부분집합 중 하나인 ‘대수적 수(algebraic numbers)’에 주목했다. 대수적 수란 정수 계수를 가지는 다항 방정식의 해가 되는 수를 의미한다. 예를 들어, x - 2 = 0의 해인 2, x² - 2 = 0의 해인 루트 2와 -루트 2 등은 모두 대수적 수이다. 모든 유리수는 p/q (q는 0이 아님)는 qx - p = 0의 해이므로 대수적 수에 속한다.

칸토르는 놀랍게도 이 대수적 수들의 집합 역시 자연수와 일대일 대응이 가능함, 즉 ‘셀 수 있다’는 것을 증명해냈다! (각 다항식에 특정 규칙에 따라 번호를 매기고, 각 다항식의 해들을 순서대로 나열하는 복잡하지만 가능한 방법을 통해서였다.)

이 결과는 매우 의미심장했다. 유리수뿐만 아니라 루트 2와 같은 많은 무리수들까지 포함하는 대수적 수의 집합조차 여전히 자연수와 같은 크기의 무한함을 가진다는 것은, 만약 실수 전체가 자연수보다 더 큰 무한이라면 그 ‘더 큰’ 부분은 대수적이지 않은 수, 즉 ‘초월수(transcendental numbers)’들 때문일 것이라는 추측을 가능하게 했다. 당시까지 초월수의 존재는 리우빌에 의해 증명되었지만(예: 리우빌 수), 파이(π)나 오일러 수(e)가 초월수라는 사실은 아직 증명되기 전이었다. (e는 1873년 에르미트에 의해, π는 1882년 린데만에 의해 초월수임이 증명된다.)

이제 칸토르의 칼끝은 실수 전체의 집합을 향했다. 그는 실수가 자연수와 일대일 대응이 불가능하다는 것, 즉 ‘셀 수 없다(uncountable)’는 것을 증명하려 했다. 만약 이것을 증명할 수 있다면, 그는 마침내 자연수의 무한보다 더 ‘큰’ 무한을 발견하게 되는 것이다.

그는 먼저 0과 1 사이의 실수들만 고려해도 충분하다고 생각했다. 만약 이 작은 구간의 실수들조차 자연수와 짝지을 수 없다면, 전체 실수는 더 말할 나위도 없을 터였다.

하지만 어떻게 증명할 것인가? 자연수와 유리수의 경우처럼 모든 실수를 나열하고 번호를 매기는 것이 불가능하다는 것을 어떻게 보일 수 있을까? 그는 며칠 밤낮으로 이 문제에 매달렸다. 머릿속에서는 온갖 아이디어들이 떠올랐다 사라지기를 반복했다. 때로는 절망감에 휩싸이기도 했다. 혹시 실수도 결국 셀 수 있는 것은 아닐까? 자신의 직관이 틀린 것은 아닐까?

연구실 창밖은 이미 어둠이 짙게 드리워져 있었다. 칸토르는 지친 몸을 일으켜 창가로 다가섰다. 밤하늘에는 무수한 별들이 반짝이고 있었다. 저 별들처럼, 실수들도 무한히 많지만 어쩌면 셀 수 있는 것은 아닐까?

그때, 그의 뇌리를 스치는 섬광 같은 아이디어가 있었다. 직접적으로 일대일 대응이 불가능함을 보이는 대신, 만약 실수가 셀 수 있다고 가정했을 때 모순이 발생한다는 것을 보이면 어떨까? 바로 ‘귀류법(reductio ad absurdum)’, 고대 그리스부터 사용되어 온 강력한 논증 방식이었다.

그의 심장이 다시 뛰기 시작했다. 그는 책상으로 달려가 종이 위에 자신의 생각을 빠르게 휘갈겨 쓰기 시작했다. 만약 0과 1 사이의 모든 실수를 목록으로 만들 수 있다고 가정하자. 그렇다면 그 목록에 빠진 실수가 단 하나라도 존재함을 보일 수 있다면, 원래의 가정은 틀린 것이 된다.

그는 마치 미로 속에서 출구를 발견한 탐험가처럼 흥분했다. 그의 손에는 아직 완성되지 않았지만, 수학 역사상 가장 우아하고 강력한 증명 중 하나로 기록될 ‘대각선 논법(diagonal argument)’의 밑그림이 그려지고 있었다. 그는 이제 이 밑그림을 완성하여, 실수라는 거대한 바다가 진정으로 ‘셀 수 없는’ 무한의 깊이를 가지고 있음을 세상에 증명하려 하고 있었다. 그 증명은 칸토르의 이름을 수학사에 영원히 새기게 될 것이며, 동시에 그를 격렬한 논쟁의 한복판으로 밀어 넣게 될 터였다.