'집합'이라는 이름의 그릇

칸토르의 연구실 창밖으로 할레의 밤 풍경이 고즈넉하게 펼쳐져 있었다. 그러나 그의 마음은 고요함과는 거리가 멀었다. 삼각급수의 유일성 문제를 파고들면서 마주쳤던 ‘예외점들의 모임’이라는 존재가 그의 뇌리를 떠나지 않았다. 유한한 점들의 모임, 무한하지만 극한점이 없는 모임, 극한점들의 모임(도집합)이 유한한 경우, 그리고 그 도집합의 도집합이 또다시 유한한 경우…

그는 마치 미지의 생물들을 분류하는 탐험가처럼, 이 ‘점들의 모임’들이 가진 다양한 성질들을 관찰하고 기록했다. 그러면서 점차 하나의 근본적인 질문에 봉착했다. 이 ‘모임’이라는 것을 어떻게 명확하게 정의하고 다룰 수 있을까? 지금까지 수학자들은 수를 다루고, 함수를 다루고, 기하학적 도형을 다루었지만, ‘대상들의 모임’ 그 자체를 하나의 독립적인 수학적 대상으로 본격적으로 연구한 사례는 드물었다.

물론 이전에도 비슷한 아이디어는 존재했다. 논리학에서는 ‘클래스(class)’라는 용어로 어떤 공통된 성질을 가진 대상들을 묶어 생각하기도 했고, 독일어로는 ‘만니히팔티히카이트(Mannigfaltigkeit, 다양체)’라는 용어가 사용되기도 했다. 하지만 칸토르는 이보다 더 명확하고, 수학적 분석에 적합한 개념이 필요하다고 느꼈다.

그는 고심 끝에 하나의 용어를 선택했다. 바로 ‘멩에(Menge)’. 독일어로 ‘모임’, ‘무리’, ‘다수’ 등을 의미하는 단어였다. 영어로는 ‘Set’, 즉 ‘집합’으로 번역되는 이 단어에 칸토르는 자신만의 의미를 부여하기 시작했다.

“멩에란, 우리의 직관이나 사고에 의해 잘 정의되고 서로 구별 가능한 특정 대상들의 모임이다. 이 대상들을 그 멩에의 ‘원소(Elemente)’라고 부른다.”

칸토르의 정의는 단순 명료했다. 마치 빈 바구니에 물건들을 담듯이, 혹은 울타리를 쳐서 특정 영역을 구분하듯이, ‘집합’이라는 그릇 안에 ‘원소’라는 내용물들을 담는다는 아이디어였다. 중요한 것은 그 대상들이 ‘잘 정의되고’ ‘서로 구별 가능해야’ 한다는 점이었다. 모호하거나 중복되는 것은 허용되지 않았다.

예를 들어, “교실 안의 모든 학생들의 모임”은 하나의 집합이다. 각 학생은 명확히 구별 가능하며, 누가 그 모임에 속하는지 명확히 알 수 있다. 이 경우 각 학생은 그 집합의 ‘원소’가 된다.

또 다른 예로, “1부터 10까지의 자연수들의 모임” {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}도 하나의 집합이다. 각 숫자는 명확히 구별되며, 이 집합의 원소는 열 개다.

심지어 “베를린 대학의 모든 수학 교수들의 모임”도 하나의 집합으로 생각할 수 있다. 바이어슈트라스, 크로네커, 쿠머 같은 당대의 거장들이 이 집합의 원소가 될 것이다.

칸토르는 이 ‘집합’이라는 개념이 단순히 점들이나 숫자들뿐만 아니라, 함수, 기하학적 도형, 심지어 다른 집합들까지도 원소로 가질 수 있다고 생각했다. 그의 사고는 점차 구체적인 대상에서 벗어나 추상적인 ‘모임’ 그 자체의 구조로 향하고 있었다.

이 ‘집합’이라는 그릇은 칸토르에게 강력한 도구가 되어주었다. 그는 이제 예외점들의 모임을 단순히 ‘점들의 무리’라고 부르는 대신, ‘예외점들의 집합 P’라고 명명하고, 그 집합 P가 가진 성질(원소의 개수, 극한점의 유무, 도집합 P'의 성격 등)을 체계적으로 분석할 수 있게 되었다.

예를 들어, “P의 모든 원소는 0과 1 사이에 있는 유리수이다”라거나, “집합 P는 무한개의 원소를 가진다” 또는 “P의 도집합 P'는 공집합이다” 와 같이, 집합이라는 용어를 사용함으로써 수학적 논의를 훨씬 명확하고 간결하게 만들 수 있었다.

물론 칸토르의 초기 집합 개념은 아직 다듬어지지 않은 원석과 같았다. 그는 ‘잘 정의된’이라는 말의 의미를 깊이 파고들지는 않았고, 모든 것을 담을 수 있을 것 같은 이 마법의 그릇이 훗날 어떤 역설을 낳을지는 상상조차 하지 못했다. 그는 다만 자신의 연구에 필요한 도구를 발견했다는 기쁨에 차 있었다.

마치 어린아이가 새로운 장난감을 얻은 것처럼, 칸토르는 이 ‘집합’이라는 도구를 이용하여 다양한 ‘모임’들을 만들어보고, 그 성질들을 탐구하기 시작했다. 그의 손에서 ‘집합’은 삼각급수 문제를 해결하는 도구를 넘어, 수학의 근본적인 대상을 기술하고 분석하는 새로운 언어로 발전할 가능성을 내포하고 있었다.

그의 연구실 책상 위에는 더 이상 낱개의 점들이나 숫자들만이 흩어져 있는 것이 아니었다. 그곳에는 ‘자연수의 집합 N’, ‘유리수의 집합 Q’, 그리고 곧 그의 일생을 뒤흔들 ‘실수의 집합 R’과 같은, 이름 붙여진 그릇들이 놓이기 시작했다. 이제 칸토르는 그 그릇들의 ‘크기’를 비교하는, 아무도 상상하지 못했던 다음 단계로 나아갈 준비를 하고 있었다. 그의 여정은 이제 막 새로운 장을 열고 있었다.