유리수, 셀 수 있는 무한?

데데킨트와의 만남 이후, 칸토르의 연구는 더욱 탄력을 받았다. ‘무한집합들 사이에도 서로 다른 크기가 존재할 수 있을까?’ 이 대담한 질문은 그의 머릿속을 떠나지 않았다. 그는 이제 이 질문에 답하기 위한 구체적인 방법을 모색하기 시작했다.

가장 먼저 그의 시선이 향한 곳은 자연수의 집합 N = {1, 2, 3, ...} 이었다. 이것은 가장 기본적이고 직관적인 무한집합이었다. 고대부터 인류는 자연수가 끝없이 계속된다는 것을 알고 있었다. 그렇다면 이 자연수의 ‘무한함’을 기준으로 다른 무한집합들의 ‘크기’를 비교할 수 있지 않을까?

칸토르의 다음 목표는 유리수의 집합 Q였다. 유리수란 두 정수의 비, 즉 분수 형태로 나타낼 수 있는 모든 수를 의미한다. (예: 1/2, -3/4, 5/1 = 5 등) 수직선 위에서 유리수들은 자연수보다 훨씬 더 빽빽하게 분포하는 것처럼 보였다. 어떤 두 유리수를 잡더라도 그 사이에는 항상 또 다른 유리수가 존재했다. 마치 빈틈없이 꽉 찬 것처럼 느껴졌다.

“자연수보다 유리수가 훨씬 더 많지 않을까?”

대부분의 사람들은 그렇게 생각할 것이다. 점점이 떨어져 있는 자연수들과 빽빽하게 모여 있는 유리수들을 비교하면, 당연히 유리수의 개수가 더 많아 보였다. 만약 칸토르의 가설, 즉 ‘무한에도 크기가 있다’는 것이 사실이라면, 유리수의 무한은 자연수의 무한보다 ‘더 큰’ 무한이 아닐까?

칸토르는 이 문제를 해결하기 위해 ‘집합의 크기를 비교한다’는 것이 무엇을 의미하는지 명확히 정의할 필요를 느꼈다. 그는 일상생활에서 물건의 개수를 세는 방식에서 영감을 얻었다. 우리가 사과 바구니에 든 사과의 개수를 셀 때, 우리는 각 사과에 1, 2, 3, ... 과 같이 자연수를 하나씩 차례로 대응시킨다. 마지막 사과에 대응된 자연수가 바로 사과의 총 개수가 된다.

그렇다면 두 무한집합의 크기를 비교할 때도 비슷한 방법을 사용할 수 있지 않을까? 두 집합의 원소들을 하나씩, 빠짐없이, 중복 없이 짝지을 수 있다면, 두 집합은 같은 ‘개수’의 원소를 가진다고 말할 수 있을 것이다. 이것이 바로 칸토르가 고안해낸 핵심 도구, ‘일대일 대응(one-to-one correspondence)’의 아이디어였다.

이제 칸토르의 과제는 자연수의 집합 N과 유리수의 집합 Q 사이에 일대일 대응을 만들 수 있느냐는 것이었다. 만약 성공한다면, 직관과는 달리 두 집합의 ‘크기’는 같다는 결론에 이르게 된다. 반대로, 아무리 노력해도 일대일 대응을 만들 수 없다면, 유리수의 집합이 자연수의 집합보다 ‘더 크다’고 말할 수 있을지도 모른다.

유리수는 양수, 음수, 그리고 0을 포함하며, 각각의 유리수는 p/q (q는 0이 아님) 형태로 표현된다. 이 무수히 많은 유리수들을 어떻게 자연수와 하나씩 짝지을 수 있을까? 처음에는 불가능해 보였다. 유리수는 너무나 촘촘하게 배열되어 있어서, 순서대로 번호를 매기려고 하면 항상 빠뜨리는 것이 생길 것 같았다.

그러나 칸토르는 포기하지 않았다. 그는 특유의 창의력과 끈기로 이 문제에 매달렸다. 그리고 마침내, 놀라운 방법을 발견해냈다.

그는 먼저 양의 유리수들만 생각했다. 모든 양의 유리수는 분자와 분모의 합에 따라 그룹을 지을 수 있었다.

• 분자와 분모의 합이 2인 경우: 1/1
• 분자와 분모의 합이 3인 경우: 1/2, 2/1
• 분자와 분모의 합이 4인 경우: 1/3, (2/2=1/1은 중복), 3/1
• 분자와 분모의 합이 5인 경우: 1/4, (2/3), (3/2), 4/1
  (괄호 안은 예시이며, 실제로는 기약분수만 고려하거나 중복을 제거하는 과정이 필요하다.)

칸토르는 이런 방식으로 모든 양의 유리수들을 마치 대각선으로 훑어가듯 순서대로 배열할 수 있다는 것을 깨달았다. 그는 이 배열된 유리수들에 차례로 자연수 1, 2, 3, ...을 대응시켰다. 중복되는 유리수(예: 1/1과 2/2)는 건너뛰고, 이미 센 유리수는 제외하면서 번호를 매겨나갔다.

칸토르는 양의 유리수 p/q를 격자점 (q, p)에 대응시키고, 이 점들을 대각선 방향으로 세어나가는 방식을 시각화했다. 예를 들어, (1,1) -> (1,2) -> (2,1) -> (1,3) -> (2,2) -> (3,1) -> ... 와 같은 경로로 이동하면서 처음 만나는 유리수에 번호를 매기는 방식이다.

이러한 과정을 통해, 놀랍게도 모든 양의 유리수에 빠짐없이 자연수를 대응시킬 수 있었다! 아무리 빽빽해 보이던 양의 유리수들도 결국 자연수처럼 하나하나 ‘셀 수 있다(countable)’는 의미였다.

여기에 0을 추가하고, 음의 유리수들도 양의 유리수와 같은 방식으로 셀 수 있다는 것을 고려하면 (예를 들어, 양의 유리수에 짝수 번호를, 음의 유리수에 홀수 번호를 매기고 0에 첫 번째 번호를 주는 방식 등), 결국 전체 유리수의 집합 Q도 자연수의 집합 N과 일대일 대응이 가능하다는 결론에 이르게 된다.

이것은 당시 수학자들에게 엄청난 충격을 안겨주었다. 직관적으로 훨씬 더 ‘많아’ 보이던 유리수가, 사실은 자연수와 ‘같은 개수’의 무한함을 가진다는 사실은 쉽게 받아들이기 어려웠다. 무한의 세계는 인간의 상식적인 직관이 통하지 않는 곳임을 암시하는 첫 번째 증거였다.

칸토르 자신도 이 결과에 놀라움을 금치 못했다.
“나는 이것을 보았지만, 믿을 수가 없었다!”
그는 친구 데데킨트에게 보낸 편지에 이렇게 적었다. 그의 발견은 마치 새로운 대륙을 발견한 탐험가의 심정과 같았을 것이다.

유리수는 ‘셀 수 있는 무한’이었다. 그렇다면 셀 수 없는 무한도 존재할까? 만약 그렇다면, 그것은 어떤 집합일까? 칸토르의 시선은 이제 유리수보다 훨씬 더 빽빽한, 그리고 훨씬 더 신비로운 존재, 바로 ‘실수’의 집합으로 향하고 있었다. 그의 여정은 이제 막 무한의 심연으로 한 걸음 더 깊이 들어가려 하고 있었다.