체르멜로의 공리화 시도

러셀의 역설이 수학계를 강타한 이후, 칸토르의 집합론은 그야말로 풍전등화의 위기에 놓였다. ‘소박한’ 접근 방식의 한계가 명백히 드러났고, 수학의 기초를 집합론 위에 세우려던 모든 시도가 좌초될 위기에 처했다. 이러한 혼란 속에서 집합론을 구원하고 새로운 토대 위에 올려놓으려는 움직임이 절실하게 요구되었다. 그리고 그 선구자적 역할을 수행한 인물이 바로 독일의 수학자 에른스트 체르멜로(Ernst Zermelo)였다.

체르멜로는 칸토르의 이론을 깊이 연구하고 그 중요성을 일찍부터 간파했던 인물 중 하나였다. 그는 괴팅겐에서 다비트 힐베르트의 영향을 받으며 수학의 기초 문제에 대한 깊은 통찰력을 키워나갔다. 그는 러셀의 역설과 같은 문제점들이 칸토르 이론 전체의 폐기를 의미하는 것이 아니라, 오히려 이론을 더욱 엄밀하게 다듬을 필요성을 제기하는 것이라고 보았다.

1904년, 체르멜로는 수학사에 길이 남을 중요한 증명을 발표한다. 그것은 바로 ‘모든 집합은 잘 정돈될 수 있다’는 ‘정렬 정리(Well-ordering theorem)’에 대한 증명이었다. 칸토르 자신도 이 정리가 참일 것이라고 굳게 믿었지만, 엄밀한 증명을 제시하지는 못했다. 이 정리는 집합론의 여러 중요한 결과들을 이끌어내는 데 필수적인 역할을 했지만, 동시에 그 증명 과정에서 사용된 가정 때문에 격렬한 논쟁을 불러일으켰다.

체르멜로의 정렬 정리 증명은 ‘선택공리(Axiom of Choice)’라는, 당시까지 명시적으로 공리화되지 않았던 강력한 원리에 암묵적으로 의존하고 있었다. 선택공리란, 공집합이 아닌 집합들의 모임(컬렉션)이 주어졌을 때, 각 집합에서 원소를 하나씩 ‘선택’하여 새로운 집합을 만들 수 있다는, 언뜻 보기에는 당연해 보이는 원리이다. 그러나 이 ‘선택’의 과정이 무한히 많은 집합들에 대해 동시에 이루어질 때, 그 선택을 구체적으로 어떻게 할 수 있는지에 대한 구성적인 방법을 제시하지 않는다는 점에서 많은 수학자들의 비판을 받았다.

이 논쟁은 체르멜로에게 집합론의 기초를 명확한 공리 체계 위에 세워야 한다는 필요성을 더욱 절감하게 만들었다. 그는 1908년, 마침내 「집합론의 기초에 관한 연구 (Untersuchungen über die Grundlagen der Mengenlehre I)」라는 역사적인 논문을 발표하며, 최초의 포괄적인 집합론 공리계를 제시했다. 이것이 바로 ‘체르멜로 집합론(Zermelo set theory, Z)’의 시작이었다.

체르멜로의 목표는 명확했다. 러셀의 역설과 같은 모순들을 회피하면서도, 칸토르가 발견한 집합론의 풍부한 결과들을 대부분 유도해낼 수 있는 안전하고 견고한 공리 체계를 구축하는 것이었다. 그의 공리계는 다음과 같은 핵심적인 공리들을 포함하고 있었다. (여기서는 그 내용을 쉽게 풀어서 설명한다.)

• 확장공리 (Axiom of Extensionality): 두 집합이 같은 원소를 가지면, 두 집합은 같다. (집합은 오직 원소에 의해서만 결정된다.)
• 공집합 공리 (Axiom of Empty Set): 원소를 하나도 갖지 않는 집합(공집합)이 존재한다.
• 짝 공리 (Axiom of Pairing): 임의의 두 대상 a, b에 대해, a와 b만을 원소로 가지는 집합 {a, b}가 존재한다.
• 합집합 공리 (Axiom of Union): 어떤 집합들의 모임(집합)이 주어졌을 때, 그 모임에 속한 모든 집합들의 원소들을 전부 합쳐놓은 새로운 집합(합집합)이 존재한다.
• 멱집합 공리 (Axiom of Power Set): 어떤 집합 A가 주어졌을 때, A의 모든 부분집합들을 원소로 가지는 집합(멱집합 P(A))이 존재한다.
• 분리 공리꼴 (Axiom Schema of Separation): 이미 존재하는 집합 A와 어떤 성질 P(x)가 주어졌을 때, A의 원소들 중에서 성질 P(x)를 만족하는 것들로만 이루어진 부분집합 {x ∈ A | P(x)}이 존재한다. (이것이 러셀의 역설을 피하는 핵심적인 장치 중 하나이다. ‘모든 것’을 대상으로 하는 대신, ‘이미 존재하는 집합의 일부’만을 대상으로 하기 때문이다.)
• 무한 공리 (Axiom of Infinity): 적어도 하나의 무한집합(예를 들어, 자연수의 집합과 유사한 구조를 가진 집합)이 존재한다. (이 공리가 없다면, 오직 유한집합만을 다루는 이론이 될 것이다.)
• 그리고 논란의 중심이었던 선택공리 (Axiom of Choice).

체르멜로의 이 공리계는 칸토르의 ‘소박한’ 접근 방식에서 벗어나, 집합의 존재와 구성을 엄격하게 통제하려는 최초의 성공적인 시도였다. 그는 이 공리들을 통해 러셀의 역설과 같은 모순들이 자신의 체계 내에서는 발생하지 않음을 보이고자 했다. 예를 들어, ‘모든 집합들의 집합’은 분리 공리에 의해 구성될 수 없으므로, 러셀의 역설에서 사용된 ‘자기 자신을 원소로 포함하지 않는 모든 집합들의 집합 R’은 애초에 체르멜로 집합론 내에서는 ‘집합’으로 간주되지 않았다.

체르멜로의 공리화 시도는 집합론의 역사에서 결정적인 전환점이었다. 그것은 집합론을 단순한 직관의 영역에서 벗어나, 엄밀한 수학적 이론으로 발전시키는 데 중요한 초석을 놓았다. 비록 그의 공리계가 완벽하지는 않았고, 이후 아브라함 프렝켈(Abraham Fraenkel)과 토랄프 스콜렘(Thoralf Skolem) 등에 의해 보완되어 현대의 표준적인 집합론 공리계인 ZFC(체르멜로-프렝켈 공리계 + 선택공리)로 발전하게 되지만, 체르멜로의 선구적인 업적은 그 가치를 아무리 강조해도 지나치지 않다.

그는 칸토르가 열었던 무한의 낙원이 역설의 폭풍우에 휩쓸려 사라지지 않도록, 그 낙원을 지탱하는 단단한 기둥들을 세우려 했던 건축가와 같았다. 그의 노력 덕분에 수학자들은 다시 한번 안전하게 집합론의 세계를 탐험할 수 있는 발판을 마련하게 되었다.

그러나 체르멜로의 공리계, 특히 그 안에 포함된 ‘선택공리’는 또 다른 격렬한 논쟁의 불씨를 지피게 된다. 수학의 본질과 존재에 대한 철학적인 논쟁은 여전히 끝나지 않았고, 집합론은 그 논쟁의 가장 뜨거운 중심에 서 있었다. 칸토르의 유산은 이처럼 끊임없는 도전과 논쟁 속에서 더욱 단련되고 발전해 나가고 있었다.