데데킨트와의 만남, 무한을 향한 첫걸음

1872년, 스위스의 아름다운 휴양지 인터라켄. 알프스의 웅장한 봉우리들이 병풍처럼 둘러싼 이곳에서, 게오르크 칸토르는 운명적인 만남을 갖게 된다. 상대는 그보다 열네 살 연상이었지만, 이미 독일 수학계에서 확고한 명성을 쌓아가고 있던 리하르트 데데킨트(Richard Dedekind)였다.

데데킨트는 칸토르와 마찬가지로 수학의 기초에 대해 깊이 고민하던 인물이었다. 그는 가우스의 제자였으며, 정수론과 대수학 분야에서 뛰어난 업적을 남기고 있었다. 특히 그는 당시까지도 논리적으로 불안정했던 ‘실수의 연속성’ 문제에 천착하고 있었다.

유리수만으로는 수직선을 빈틈없이 채울 수 없다는 것은 고대 그리스 시대부터 알려진 사실이었다. 루트 2와 같은 무리수의 존재는 피타고라스 학파를 충격에 빠뜨렸고, 이후 수학자들은 이 무리수를 어떻게 합리적으로 정의하고 다룰 것인지에 대해 끊임없이 고민해왔다. 직관적으로는 존재하지만, 그 실체를 명확히 규정하기 어려웠던 것이다.

데데킨트는 이 문제를 해결하기 위해 ‘절단(Schnitt, Dedekind cut)’이라는 독창적인 아이디어를 제시했다. 그는 모든 유리수를 두 그룹 (A, B)로 나누는 방식을 생각했다. A의 모든 원소는 B의 모든 원소보다 작고, A에는 가장 큰 원소가 없거나 B에는 가장 작은 원소가 없는 경우, 이 ‘절단’ 자체가 하나의 새로운 수, 즉 무리수를 정의한다고 보았다. 예를 들어, 제곱해서 2보다 작은 모든 유리수들의 집합 A와 나머지 유리수들의 집합 B 사이의 ‘절단’이 바로 루트 2를 정의하는 것이다.

이 ‘절단’ 개념은 당시로서는 매우 혁명적이었다. 수를 점으로 생각하는 대신, 유리수 집합 전체를 가르는 ‘행위’나 ‘구분선’ 자체를 새로운 수로 간주했기 때문이다. 그리고 이 과정에서 데데킨트 역시 자연스럽게 ‘유리수들의 집합’이라는 개념을 다루고 있었다.

칸토르가 삼각급수의 유일성 문제를 통해 ‘점집합’과 ‘멩에(Menge, 독이러로 집합을 의미함.)’라는 개념에 도달했다면, 데데킨트는 실수의 본질을 파헤치면서 비슷한 지점에 이른 것이다. 서로 다른 길을 걸어왔지만, 두 사람의 관심사는 놀랍도록 닮아 있었다.

인터라켄에서의 만남은 짧았지만, 두 사람에게는 강렬한 인상을 남겼다. 칸토르는 데데킨트의 명석함과 깊이 있는 통찰력에 깊은 존경심을 느꼈고, 데데킨트 역시 젊은 칸토르의 열정과 독창적인 아이디어에 주목했다. 무엇보다 두 사람은 ‘무한’이라는 공통의 화두에 대해 거리낌 없이 이야기를 나눌 수 있는 몇 안 되는 동반자를 만났다는 사실에 기뻐했다.

“칸토르 선생, 선생의 ‘멩에’라는 개념은 매우 흥미롭군요. 저 역시 실수를 정의하면서 ‘모든 유리수의 집합’을 다루지 않을 수 없었습니다.”
호숫가를 거닐며 데데킨트가 부드러운 어조로 말했다. 그의 눈빛은 차분했지만, 지적인 호기심으로 반짝였다.

칸토르는 자신의 연구 과정에서 떠오른 생각들을 털어놓았다.
“데데킨트 교수님, 저는 예외점들의 ‘멩에’를 다루면서, 그 ‘멩에’들이 가진 서로 다른 ‘크기’에 대해 생각해보게 되었습니다. 유한한 ‘멩에’와 무한한 ‘멩에’는 명백히 다르지만, 혹시 무한한 ‘멩에’들 사이에도 서로 다른 ‘크기’가 존재할 수 있지 않을까요?”

칸토르의 이 마지막 질문은 당시로서는 상상하기 힘든 것이었다. 무한은 그냥 무한일 뿐, 그 안에 크고 작은 구분이 있다는 생각은 거의 이단에 가까웠다. 그러나 데데킨트는 칸토르의 말을 주의 깊게 경청했다. 그는 이미 ‘무한집합’의 정의에 대해 고민하고 있었고, 어떤 집합이 자기 자신의 진부분집합과 일대일 대응이 가능할 때 그 집합을 무한집합으로 정의할 수 있다는 아이디어를 가지고 있었다. (예를 들어, 자연수 집합은 짝수 집합과 일대일 대응이 가능하며, 짝수 집합은 자연수 집합의 진부분집합이다.)

이 만남을 계기로 칸토르와 데데킨트는 평생에 걸친 학문적 동지이자 친구가 되었다. 그들은 이후 수많은 편지를 주고받으며 서로의 아이디어를 공유하고 비판했으며, 때로는 격려하고 위로했다. 특히 칸토르가 자신의 혁명적인 이론 때문에 학계의 거센 반발에 부딪혀 고립되었을 때, 데데킨트는 그의 가장 든든한 지지자 중 하나가 되어주었다.

데데킨트와의 만남은 칸토르에게 큰 용기를 주었다. 자신의 생각이 단순한 망상이 아니며, 자신과 비슷한 고민을 하는 위대한 수학자가 있다는 사실은 그에게 큰 힘이 되었다. 그는 이제 ‘무한에도 크기가 있을 수 있다’는, 당시로서는 터무니없어 보이는 가설을 향해 본격적으로 나아갈 준비를 하고 있었다.

그의 손에 들린 ‘집합’이라는 그릇은 이제 단순한 분류 도구를 넘어, 무한의 신비를 담아낼 마법의 용기가 될 참이었다. 인터라켄의 맑은 공기 속에서, 칸토르는 무한을 향한 첫걸음의 설렘과 함께, 앞으로 닥쳐올지 모를 폭풍우의 예감을 동시에 느끼고 있었다. 그러나 그의 발걸음은 이미 멈출 수 없는 강을 건너고 있었다.