삼각함수의 수수께끼

1867년, 게오르크 칸토르는 베를린 대학에서 박사 학위를 취득했다. 그의 학위 논문은 수론에 관한 것이었다. 스승 쿠머의 영향이 짙게 묻어나는 선택이었다. 졸업 후, 그는 잠시 여학교 교사로 일하다가 할레 대학의 강사직을 얻게 된다. 할레는 베를린만큼 화려하지는 않았지만, 연구에 몰두하기에는 더없이 좋은 환경이었다. 젊은 칸토르는 이곳에서 그의 운명을 뒤바꿀 문제와 조우하게 된다.

그것은 바로 ‘삼각급수의 유일성 문제’였다.

삼각급수. 이름만 들어도 머리가 지끈거릴지 모르지만, 그 기본적인 아이디어는 생각보다 복잡하지 않다. 마치 복잡한 음악이 단순한 음들의 조화로 이루어지듯, 꽤나 다양한 종류의 함수들을 사인(sine)과 코사인(cosine)이라는 기본적인 주기 함수의 합으로 표현할 수 있다는 것이 삼각급수의 핵심이었다. 프랑스의 수학자 푸리에는 이미 19세기 초, 열전도 문제를 연구하면서 이 삼각급수의 강력한 힘을 세상에 알린 바 있었다. 열의 확산, 소리의 진동, 빛의 파동 등 주기적인 현상을 분석하는 데 있어 삼각급수는 마법과 같은 도구였다.

문제는 이것이었다. “어떤 함수를 삼각급수로 표현하는 방법은 오직 하나뿐인가?”

예를 들어, 바이올린으로 ‘도’ 음을 연주하는 방법은 여러 가지일 수 있다. 활을 살짝 그을 수도 있고, 강하게 누를 수도 있다. 하지만 그 결과로 나오는 ‘도’라는 음의 파형은 (이상적인 상황에서) 단 하나의 삼각급수로 표현될 수 있을까? 만약 그렇다면, 그 표현은 유일할까?

이 질문은 당시 해석학 분야의 중요한 난제 중 하나였다. 이미 많은 수학자들이 이 문제에 매달렸지만, 명쾌한 해답은 나오지 않고 있었다. 어떤 함수가 삼각급수로 표현될 수 있다면, 그 표현은 유일하다는 것이 일반적인 추측이었으나, 이를 엄밀하게 증명하는 것은 또 다른 차원의 문제였다.

칸토르의 스승이었던 바이어슈트라스도 이 문제에 깊은 관심을 가지고 있었다. 그의 엄밀성에 대한 강조는 칸토르에게 이 문제를 단순히 기술적으로 푸는 것을 넘어, 그 근본적인 구조를 파헤치도록 이끌었다.

칸토르는 이 문제에 젊은 날의 열정을 쏟아부었다. 그는 선배 수학자들의 연구를 꼼꼼히 검토하며 자신만의 접근법을 모색했다. 그의 예리한 분석력은 문제의 핵심을 향해 한 걸음씩 다가갔다. 그는 어떤 함수 f(x)가 모든 x에 대해 삼각급수의 합으로 0이 된다면, 그 급수의 모든 계수가 0이 되어야 함을 증명하고자 했다. 이것이 증명된다면, 어떤 함수를 표현하는 삼각급수는 유일하다는 결론이 자연스럽게 따라온다.

밤늦도록 꺼지지 않는 연구실의 등불 아래, 칸토르는 숱한 계산과 씨름했다. 종이 위에는 복잡한 수식들이 빽빽하게 들어찼고, 그의 미간에는 깊은 사색의 골이 패었다. 때로는 실마리가 잡히는 듯하다가도, 금세 안갯속으로 사라지곤 했다. 그러나 그는 포기하지 않았다. 바이어슈트라스에게서 배운 끈기와 엄밀함이 그의 연구를 지탱하는 버팀목이었다.

그러던 어느 날, 칸토르는 중요한 단서를 발견한다. 만약 함수가 ‘거의 모든’ 점에서 연속이라면, 삼각급수의 유일성이 성립한다는 사실을 어렴풋이 감지한 것이다. 여기서 ‘거의 모든’이라는 표현이 중요했다. 함수가 몇몇 점에서 불연속이더라도, 그 불연속인 점들이 ‘너무 많지 않다면’ 유일성은 여전히 유지될 수 있지 않을까?

이 생각은 칸토르를 새로운 방향으로 이끌었다. 그는 이제 ‘불연속이 허용되는 점들’의 성질에 주목하기 시작했다. 도대체 이 ‘예외적인 점들’의 모임은 어떤 특징을 가지고 있을까? 이 점들이 무한히 많다면 어떻게 될까? 무한히 많은 점들이 존재하더라도, 그 ‘무한’의 성격에 따라 결과가 달라질 수 있지 않을까?

삼각함수의 유일성이라는 구체적인 문제를 파고들던 칸토르의 시선은, 자신도 모르는 사이에 훨씬 더 근원적이고 거대한 질문으로 옮겨가고 있었다. 그것은 바로 ‘무한’ 그 자체에 대한 질문이었다.

당시 수학자들은 무한을 다루는 것을 조심스러워했다. 무한은 종종 역설을 낳았고, 엄밀한 논리의 영역보다는 철학이나 신학의 영역으로 여겨지곤 했다. 크로네커와 같은 유한주의자들에게 ‘실제 완성된 무한’이라는 개념은 상상조차 할 수 없는 것이었다.

그러나 칸토르는 달랐다. 삼각급수의 수수께끼는 그에게 무한의 세계로 들어가는 문을 살짝 열어 보여주었다. 그 문틈으로 새어 나오는 빛은 너무나 매혹적이어서, 그는 감히 그 문을 활짝 열어젖히고 싶은 충동을 느끼기 시작했다. 그의 손에는 아직 ‘집합’이라는 열쇠가 쥐어져 있지 않았지만, 그 열쇠의 필요성을 어렴풋이 느끼기 시작한 순간이었다. 삼각함수의 숲에서 길을 잃은 줄 알았던 칸토르는, 실은 무한이라는 거대한 산맥의 입구에 서 있었던 것이다.