선택공리를 둘러싼 논쟁

에른스트 체르멜로가 제시한 집합론 공리계는 러셀의 역설과 같은 모순들로부터 집합론을 구출하는 데 큰 역할을 했지만, 그 자체가 모든 논란을 잠재운 것은 아니었다. 오히려 그의 공리계에 포함된 하나의 특별한 공리, 바로 ‘선택공리(Axiom of Choice)’는 수학계에 새로운, 그리고 더욱 격렬한 논쟁의 불을 지폈다.

선택공리는 언뜻 보기에는 너무나 당연하고 명백해 보이는 주장이었다. “비어있지 않은 집합들의 (무한한) 모임이 주어졌을 때, 각 집합에서 정확히 하나의 원소를 ‘선택’하여 새로운 집합을 만들 수 있다.” 마치 여러 개의 과일 바구니가 있을 때, 각 바구니에서 과일을 하나씩 골라 새로운 과일 모음을 만드는 것과 비슷해 보였다. 유한한 개수의 바구니라면 아무런 문제가 없다.

그러나 문제는 이 ‘선택’의 과정이 ‘무한히 많은’ 집합들에 대해 동시에 이루어질 때 발생했다. 선택공리는 그러한 ‘선택 함수(choice function)’의 존재를 단순히 ‘보장’할 뿐, 그 선택을 구체적으로 어떻게 할 수 있는지, 즉 그 선택 함수를 어떻게 ‘구성’할 수 있는지에 대해서는 아무런 방법을 제시하지 않았다.

예를 들어, 모든 실수를 원소로 가지는 무한히 많은 신발 상자들이 있다고 상상해보자. (각 상자에는 정확히 한 켤레의 신발이 들어있다.) 각 상자에서 신발 한 짝을 ‘선택’하여 새로운 신발 모음을 만들 수 있을까? 만약 모든 상자에 왼쪽 신발과 오른쪽 신발이 명확히 구분되어 있다면, “각 상자에서 왼쪽 신발을 선택한다”는 명확한 규칙을 제시할 수 있다. 이 경우 선택공리는 필요 없다.

하지만 만약 모든 상자에 들어있는 두 짝의 신발이 (마치 양말처럼) 완벽하게 똑같이 생겨서 왼쪽과 오른쪽을 구분할 수 없다면 어떻게 될까? 이때 각 상자에서 신발 한 짝을 ‘선택’하는 구체적인 규칙을 제시할 수 있을까? 선택공리는 이러한 경우에도 우리가 각 상자에서 신발 한 짝을 골라낼 수 있는 ‘어떤 방법’이 존재한다고 주장하는 것이다. 비록 그 방법을 우리가 구체적으로 알지 못하더라도 말이다!

이러한 비구성적인 성격 때문에 선택공리는 많은 수학자들, 특히 구성주의적 성향을 가진 이들로부터 격렬한 비판을 받았다. 프랑스의 저명한 수학자 앙리 르베그(Henri Lebesgue), 에밀 보렐(Émile Borel), 르네 베르(René-Louis Baire) 등은 선택공리의 사용에 대해 심각한 의문을 제기했다. 그들은 수학적 대상은 오직 인간이 유한한 단계의 명확한 절차를 통해 ‘구성’할 수 있을 때만 존재 의미를 가진다고 보았다. 선택공리는 이러한 구성적인 절차 없이 단지 존재만을 선언하기 때문에, 그들에게는 마치 실체가 없는 유령을 불러내는 것처럼 느껴졌다.

“우리가 그 존재를 증명할 수 없는 대상을 가정하는 것은 수학이 아니다! 그것은 형이상학이다!”
르베그는 선택공리에 기반한 증명들을 의심의 눈초리로 바라보았다. 그는 선택공리가 때로는 매우 기괴하고 직관에 반하는 결과들을 낳는다는 점을 지적했다. (예를 들어, 바나흐-타르스키 역설은 선택공리를 가정하면 하나의 공을 유한개의 조각으로 분해한 뒤 재조립하여 원래 공과 똑같은 크기의 공 두 개를 만들 수 있다는, 상식적으로는 믿기 힘든 결과를 보여준다.)

이러한 비판에 맞서, 체르멜로와 다비트 힐베르트, 그리고 폴란드의 바츠와프 시어핀스키(Wacław Sierpiński)와 같은 수학자들은 선택공리를 강력하게 옹호했다. 그들은 선택공리가 집합론의 여러 중요한 정리들을 증명하는 데 필수적이며, 수학의 많은 분야에서 자연스럽게 사용되고 있다고 주장했다. 예를 들어, ‘모든 벡터 공간은 기저를 가진다’, ‘모든 체는 대수적 폐포를 가진다’와 같은 중요한 정리들의 증명은 선택공리에 의존하고 있었다. 또한, 칸토르가 그토록 증명하고 싶어 했던 ‘모든 집합은 잘 정돈될 수 있다’는 정렬 정리 역시 선택공리와 동치임이 밝혀졌다.

선택공리를 둘러싼 논쟁은 단순히 하나의 공리에 대한 찬반을 넘어, 수학의 본질과 진리에 대한 근본적인 철학적 대립으로까지 이어졌다.

• 플라톤주의자들은 수학적 대상들이 인간의 정신과 독립적으로 존재하는 실체라고 믿었으므로, 선택공리가 기술하는 ‘선택 함수’ 또한 우리가 구성할 수 없더라도 객관적으로 존재한다고 보았다.
• 형식주의자들은 수학을 공리와 추론 규칙으로 이루어진 형식적인 체계로 간주했고, 선택공리가 다른 공리들과 모순을 일으키지 않는 한 유용한 도구로 사용할 수 있다고 생각했다.
• 직관주의/구성주의자들은 수학적 대상은 오직 인간의 유한한 구성 과정을 통해서만 의미를 가진다고 보았으므로, 비구성적인 선택공리를 배척했다.

이 논쟁은 20세기 초 수학계를 뜨겁게 달구었고, 수많은 논문과 저작들이 이 주제를 다루었다. 칸토르가 열었던 무한의 낙원은 이제 그곳에 어떤 ‘법률’을 적용할 것인가를 두고 격렬한 토론이 벌어지는 의회와도 같았다.

결국, 대부분의 수학자들은 선택공리가 가져다주는 풍부한 결과들을 포기할 수 없었고, 선택공리는 (비록 논란의 여지는 남아있지만) 현대 집합론의 표준적인 공리계인 ZFC(체르멜로-프렝켈 공리계 + 선택공리)의 일부로 받아들여지게 된다. 그러나 선택공리의 사용 여부에 따라 수학의 결과가 달라질 수 있다는 사실은, 수학적 진리가 결코 단일하거나 절대적이지 않을 수 있다는 중요한 깨달음을 안겨주었다.

칸토르는 이 선택공리를 둘러싼 논쟁을 직접적으로 주도하지는 않았지만, 그가 씨름했던 ‘정렬 원리’와 같은 문제들이 이 논쟁의 핵심에 있었다. 그가 던졌던 무한에 대한 질문들은 이처럼 다음 세대 수학자들에게 끊임없는 탐구와 논쟁의 대상이 되었고, 그 과정에서 수학은 더욱 깊고 풍부한 학문으로 발전해 나갔다. 선택공리를 둘러싼 논쟁은 집합론이 단순한 계산 기술이 아니라, 수학의 철학적 기초와 깊이 연결된 살아있는 학문임을 보여주는 생생한 증거였다.