예외점들의 등장

할레 대학의 연구실, 칸토르의 책상 위에는 삼각급수에 관한 논문들과 계산으로 가득 찬 종이들이 산더미처럼 쌓여 있었다. 그의 머릿속은 온통 하나의 질문으로 가득 차 있었다. “어떤 조건 하에서 삼각급수의 표현은 유일한가?”

그는 이미 ‘거의 모든’ 점에서 연속인 함수에 대해서는 유일성이 성립할 가능성을 엿보았다. 이제 그의 관심은 그 ‘거의 모든’이라는 말의 경계, 즉 유일성을 깨뜨릴 수도 있는 ‘예외적인 점들’로 향했다. 만약 함수가 특정 지점에서 불연속이거나, 미분 불가능하다면 어떻게 될까? 그런 점들이 하나, 둘, 혹은 그 이상 존재한다면?

칸토르는 하이네(Eduard Heine)라는 동료 수학자의 연구에 주목했다. 하이네는 어떤 함수 f(x)에 대해, 만약 삼각급수가 단 하나의 x 값을 제외한 모든 곳에서 f(x)로 수렴한다면, 그 급수의 계수는 유일하다는 것을 증명한 바 있었다. 단 하나의 ‘예외점’은 유일성을 해치지 못한다는 의미였다.

“단 하나의 점이라면… 그렇다면 두 개의 점은?”

칸토르의 사고는 꼬리에 꼬리를 물고 이어졌다. 그는 하이네의 결과를 확장하여, 유한한 개수의 예외점들이 존재하더라도 삼각급수의 유일성은 여전히 성립한다는 것을 증명해냈다. 그의 심장이 가볍게 뛰었다. 작은 성공이었지만, 더 큰 문제로 나아가는 디딤돌이 될 수 있었다.

하지만 문제는 지금부터였다. 만약 예외점들이 유한하지 않고, ‘무한히’ 많다면 어떻게 될까?

이 질문은 칸토르를 깊은 고민에 빠뜨렸다. 당시 수학에서 ‘무한’은 마치 다루기 힘든 야생마와 같았다. 길들이려 하면 뒷발질을 해대며 논리적 모순을 일으키기 일쑤였다. 대부분의 수학자들은 무한을 완성된 실체로 보기보다는, 끝없이 계속되는 과정, 즉 ‘가무한(potential infinity)’으로만 생각했다.

그러나 칸토르는 이 문제 앞에서 물러서지 않았다. 그의 분석은 점점 더 정교해졌다. 그는 ‘도집합(derived set)’이라는 개념을 활용하기 시작했다. 어떤 점들의 모임 P가 있을 때, 그 P의 극한점(limit point)들의 모임을 P의 도집합 P'라고 한다. 쉽게 말해, 어떤 점 주위에 P의 점들이 아무리 가까이 다가가도 끝없이 발견될 때, 그 점을 극한점이라고 부르는 것이다.

예를 들어, 0과 1 사이의 모든 유리수들의 모임 P를 생각해보자. 이 모임의 극한점은 0과 1 사이의 모든 실수들(유리수와 무리수 포함)이 된다. 유리수들은 실수 직선 위에서 서로 조밀하게 모여 있기 때문이다.

칸토르는 이 도집합 개념을 이용하여 예외점들의 ‘무한함’에도 종류가 있을 수 있다는 생각을 어렴풋이 하기 시작했다. 만약 예외점들의 집합 P가 무한하더라도, 그 도집합 P'이 비어있다면 어떨까? (예를 들어 자연수 집합 {1, 2, 3, ...}은 무한하지만, 극한점은 없다. 즉, P'는 공집합이다.) 이런 경우에는 여전히 삼각급수의 유일성이 성립할 수 있을까?

칸토르는 끈질긴 연구 끝에, 예외점들의 집합 P의 도집합 P'이 유한하다면, 즉 극한점들이 유한개라면 삼각급수의 유일성이 성립함을 증명해냈다! 이것은 엄청난 발전이었다. 무한개의 예외점이 존재하더라도, 그 예외점들이 ‘너무 빽빽하게’ 모여이지만 않는다면 괜찮다는 의미였다.

그렇다면 P'이 무한하다면? 그는 P'의 도집합, 즉 P''을 생각했다. 만약 P''이 유한하다면? 더 나아가 P^(n) (P를 n번 도집합한 것)이 유한하다면 삼각급수의 유일성이 성립한다는 것을 차례로 증명해 나갔다.

1872년, 칸토르는 이 놀라운 결과를 담은 논문을 발표했다. 그의 논문은 삼각급수 이론에 한 획을 그었지만, 그보다 더 중요한 것은 이 과정에서 칸토르가 ‘점들의 모임’, 즉 ‘집합’이라는 개념을 다루는 새로운 방식을 경험했다는 사실이었다.

그는 예외점들의 ‘모임’을 하나의 대상으로 취급하고, 그 모임이 가지는 성질(극한점의 존재 유무, 도집합의 유한성 등)을 분석했다. 이전까지 수학자들은 개별적인 수나 함수를 주로 다루었지만, 칸토르는 이제 ‘대상들의 컬렉션’ 그 자체에 주목하기 시작한 것이다.

삼각급수의 유일성이라는 구체적인 문제를 해결하는 과정에서, 칸토르의 발밑에는 전혀 예상치 못한 새로운 대륙이 펼쳐지고 있었다. 그 대륙의 이름은 아직 명확히 정해지지 않았지만, 그곳에는 ‘점들의 무리’, ‘수들의 덩어리’, ‘어떤 조건을 만족하는 대상들의 모임’ 등이 여기저기 흩어져 있었다. 칸토르는 이 흩어진 조각들을 하나로 꿰어낼 강력한 개념의 필요성을 절감하기 시작했다.

그의 손에는 아직 보이지 않는 조각칼이 들려 있었다. 그 칼로 그는 무한이라는 거대한 원석을 깎아내어, 이전에는 상상조차 할 수 없었던 새로운 형태의 보석들을 만들어낼 참이었다. 예외점들의 등장은, 집합론이라는 거대한 교향곡의 서곡에 울려 퍼지는 의미심장한 전주곡과도 같았다.