폴 코언, 연속체 가설의 독립성 증명

쿠르트 괴델이 ZFC 공리계 내에서는 연속체 가설을 반증할 수 없음을 증명한 이후, 수학계는 한동안 희망과 기대감에 휩싸였다. 어쩌면 칸토르가 그토록 믿었던 것처럼, 연속체 가설(CH: c = ℵ₁)은 정말로 ZFC의 공리들로부터 증명될 수 있는 참인 명제일지도 모른다는 생각이었다. 그러나 이 기대감은 또 다른 젊은 천재의 등장과 함께 극적인 반전을 맞이하게 된다. 그의 이름은 폴 코언(Paul Cohen), 미국의 수학자였다.

코언은 1934년 뉴저지에서 태어나 시카고 대학에서 수학을 공부한, 상대적으로 젊은 세대의 수학자였다. 그는 해석학과 미분방정식 분야에서 두각을 나타냈지만, 그의 운명은 집합론과 논리학이라는 심오한 영역으로 그를 이끌었다. 특히 그는 괴델의 불완전성 정리와 연속체 가설 문제에 깊은 관심을 가지게 되었다.

괴델은 연속체 가설이 ZFC와 ‘모순되지 않음(consistent)’을 보였지만, 그것이 ZFC로부터 ‘증명 가능한지(provable)’는 여전히 미해결 문제였다. 만약 연속체 가설이 ZFC로부터 증명될 수 없다면, 그것은 괴델의 제1 불완전성 정리가 예견한 것처럼 ZFC 체계 내에서 ‘결정 불가능한(undecidable)’ 명제가 될 터였다. 즉, 참인지 거짓인지 ZFC 공리만으로는 판정할 수 없는 명제라는 의미이다.

1960년대 초, 폴 코언은 이 어려운 문제에 도전하여 수학의 역사를 뒤흔들 만한 혁명적인 결과를 발표한다. 그는 ‘강제법(forcing)’이라는 매우 독창적이고 강력한 새로운 수학적 기법을 개발하여, 만약 ZFC 공리계가 무모순이라면, ZFC에 연속체 가설의 부정(¬CH, 즉 c ≠ ℵ₁)을 추가한 공리계 역시 무모순이다라는 것을 증명해냈다!

이것은 실로 엄청난 발견이었다. 괴델의 결과와 코언의 결과를 종합하면 다음과 같은 결론에 이르게 된다.

1. ZFC + CH (연속체 가설이 참이라고 가정)는 무모순이다. (괴델, 1938)
2. ZFC + ¬CH (연속체 가설이 거짓이라고 가정)도 무모순이다. (코언, 1963)

이것이 의미하는 바는 명확했다. 연속체 가설은 ZFC 공리계로부터 독립적(independent)이다! 즉, ZFC의 공리들만으로는 연속체 가설을 증명할 수도 없고, 반증할 수도 없다는 것이다. 칸토르가 평생을 바쳐 풀려고 했던 이 문제는, 그가 사용했던 (그리고 현대 수학자들이 표준으로 사용하는) 수학적 도구로는 애초에 답을 내릴 수 없는 성질의 것이었다.

마치 유클리드 기하학에서 평행선 공리가 다른 공리들로부터 독립적이어서, 그 공리를 부정하고 비유클리드 기하학이라는 새로운 세계를 열 수 있었던 것처럼, 연속체 가설 역시 ZFC 공리계와는 독립적인 존재였다. 수학자들은 이제 ZFC에 연속체 가설을 참으로 받아들이는 ‘칸토르의 우주’를 탐험할 수도 있고, 혹은 연속체 가설이 거짓이라고 가정하는 (즉, ℵ₀와 c 사이에 ℵ₁ 이외의 다른 무한 기수들이 존재하거나, c가 ℵ₂ 혹은 그보다 더 큰 알레프 수와 같다고 가정하는) 또 다른 ‘비칸토르적 우주’를 탐험할 수도 있게 된 것이다.

폴 코언의 이 업적은 수학계에 엄청난 충격을 안겨주었다. 어떤 이들은 수학적 진리가 유일하지 않을 수 있다는 사실에 당혹감을 느꼈고, 또 어떤 이들은 인간 이성의 한계와 수학의 본질에 대해 더욱 깊은 철학적 고민에 빠졌다. 연속체 가설은 이제 ‘풀어야 할 문제’가 아니라, ‘선택해야 할 공리’가 될 가능성이 열린 것이다.

코언의 증명은 매우 복잡하고 난해했지만, 그가 개발한 ‘강제법’이라는 기법은 이후 집합론 연구에 혁명적인 변화를 가져왔다. 그것은 수학자들에게 기존의 집합론적 우주를 확장하거나 변형하여 새로운 성질을 가진 우주들을 구성할 수 있는 강력한 도구를 제공했고, 이를 통해 수많은 집합론적 문제들의 독립성이 증명되었다.

칸토르는 이 결과를 알지 못한 채 세상을 떠났지만, 만약 그가 이 사실을 알았다면 어떤 생각을 했을까? 평생을 바친 문제가 ‘결정 불가능’하다는 사실에 허탈감을 느꼈을까? 아니면 자신의 직관이 틀리지 않았음을, 즉 연속체 가설이 ZFC와 모순되지 않는다는 괴델의 결과에 더 큰 의미를 두었을까? 혹은, 자신이 열었던 무한의 세계가 이토록 다양하고 풍부한 가능성을 담고 있다는 사실에 경탄했을지도 모른다.

폴 코언은 이 업적으로 1966년 필즈상(Fields Medal)을 수상하며, 수학계의 최고 영예를 안았다. 그의 발견은 칸토르가 시작한 무한의 탐험이 결코 끝나지 않았으며, 오히려 더욱 깊고 넓은 미지의 영역으로 확장되고 있음을 보여주는 증거였다.

연속체 가설의 독립성 증명. 그것은 칸토르가 평생 동안 매달렸던 문제에 대한 예상치 못한, 그러나 심오한 결말이었다. 그의 낙원은 여전히 존재했지만, 그 낙원의 모습은 이제 수학자들의 선택에 따라 다양하게 그려질 수 있게 된 것이다. 무한의 세계는 인간의 상상을 초월하는 신비로움으로 가득 차 있었고, 그 신비로움을 향한 탐험은 앞으로도 영원히 계속될 터였다. 칸토르의 유산은 이처럼 풀리지 않는 질문과 새로운 가능성을 통해 끊임없이 살아 숨 쉬고 있었다.