결정 문제의 종언

튜링의 책상 위, 노트에는 방금 끝난 전투의 흔적이 선명했다. ‘정지 문제’는 해결 불가능하다. 그 증명은 완벽했고, 흔들림이 없었다. 이제 그는 정복한 고지 위에서, 마지막 목표물을 내려다보았다.

다비트 힐베르트의 망령, ‘결정 문제(Entscheidungsproblem)’.

그는 이 거대한 성을 함락시키기 위해 더 이상 새로운 무기를 만들 필요가 없었다. 방금 얻은 전리품, 즉 ‘정지 문제의 해결 불가능성’이라는 사실 자체가 가장 강력한 파성추(破城槌)가 될 터였다.

그의 전략은 정지 문제를 증명할 때와 마찬가지로, 귀류법이었다.

[가정] ‘결정 문제’는 해결 가능하다.

튜링은 눈을 감고 그 가정이 현실이 된 세계를 상상했다.
그 세계에는 ‘결정 문제 해결사(Decision Solver)’라는 궁극의 기계가 존재할 것이다. 이 기계는 어떤 정교한 수학적 명제를 입력하더라도, 유한한 시간 안에 그 명제가 주어진 공리계 내에서 ‘증명 가능한 참’인지, 아니면 ‘그렇지 않은지’를 판별해 준다.

이것은 힐베르트가 꿈꾸던 바로 그 기계였다.
튜링은 이 꿈의 기계를 이용하여, 존재가 불가능하다고 증명된 ‘정지 문제 판별기(H)’를 만들어낼 수 있는지 검토하기 시작했다.

만약 만들 수 있다면?
존재 가능한 기계(결정 문제 해결사)를 부품으로 써서, 존재 불가능한 기계(정지 문제 판별기)를 조립해내는 셈이다. 이는 명백한 모순이며, 부품으로 쓰인 ‘결정 문제 해결사’ 자체가 존재할 수 없다는 뜻이 된다.

튜링의 펜이 다시 움직였다. 그는 두 세계를 연결할 다리를 놓기 시작했다.

어떤 튜링 기계 M과 그 입력값 I가 주어졌다고 하자. 우리는 “M(I)가 정지하는가?”를 알고 싶다.

1. 번역 단계: 튜링은 기계 M과 입력 I의 모든 정보를 담은, 아주 길고 복잡한 단 하나의 수학적 명제, S(M, I)를 만드는 방법을 고안했다.
   이 명제 S의 내용은 다음과 같다.
   “기계 M이 입력 I를 가지고 계산을 시작했을 때, 유한한 단계의 계산 과정을 거쳐 ‘정지(HALT)’ 상태에 도달하는 유효한 계산 경로가 존재한다.”

   이 명제 S(M, I)는 그냥 보기에는 복잡할 뿐, 완벽하게 타당한 수학적 명제다. 그리고 그 참/거짓은 오직 한 가지 사실에만 의존한다. 바로 기계 M이 실제로 정지하는지 여부다.

   • 만약 M(I)가 실제로 정지한다면, 명제 S는 ‘증명 가능한 참’이다.
   • 만약 M(I)가 영원히 돈다면, 명제 S는 ‘증명 가능한 참’이 아니다.

2. 조립 단계: 이제 존재가 불가능한 ‘정지 문제 판별기(H)’를 설계해보자.

   • 입력: 기계 M과 입력 I를 받는다.
   • 내부 작동:
     • 먼저, 입력받은 M과 I를 이용해 위의 ‘번역 단계’를 거쳐 수학적 명제 S(M, I)를 생성한다.
     • 다음, 이 명제 S(M, I)를 우리가 존재한다고 가정한 ‘결정 문제 해결사’에 입력으로 집어넣는다.
   • 출력:
     • 만약 ‘결정 문제 해결사’가 “S(M, I)는 증명 가능한 참이다”라고 판별하면, 우리의 H는 ‘HALTS’라고 외친다.
     • 만약 ‘결정 문제 해결사’가 “S(M, I)는 증명 가능한 참이 아니다”라고 판별하면, 우리의 H는 ‘LOOPS’라고 외친다.

튜링은 설계를 마치고 조용히 숨을 내쉬었다.
완벽했다.
‘결정 문제 해결사’가 존재하기만 한다면, 그것을 이용해 100% 정확하게 작동하는 ‘정지 문제 판별기’를 만들어낼 수 있었다.

그러나 바로 전 화에서, 튜링 자신은 정지 문제 판별기 H가 논리적 모순 때문에 절대로 존재할 수 없음을 증명하지 않았던가.

논리의 칼날이 마지막 목표를 향해 휘둘러졌다.
존재한다고 가정한 ‘결정 문제 해결사’를 이용하면, 존재할 수 없는 ‘정지 문제 판별기’를 만들 수 있다.

이 모순을 해결할 방법은 단 하나뿐이다.
모든 것의 시작이었던 최초의 가정을 파괴하는 것.

튜링은 그의 논문 마지막 부분에 명료한 결론을 기록했다.
“따라서, ‘결정 문제’는 해결 불가능하다.”

체크메이트.
한 세기를 풍미했던 거인의 꿈은, 이 스물네 살 청년의 노트 위에서 마침내 공식적으로 종언을 고했다. 결정 문제의 성은 무너졌다. 힐베르트의 프로그램은 막을 내렸다.

그것은 파괴였지만, 동시에 창조였다. 수학이라는 닫힌 세계의 한계가 명확히 그어지는 순간, 그 한계 안에서 ‘계산’이라는 새로운 세계가 무한한 가능성을 품고 태어나고 있었다.