튜링의 마지막 노트 - 시대의 망령, 결정 문제(Entscheidungsproblem) (제3화)

킹스 칼리지의 상급 수학 과정 강의실.
공기는 묵직했고, 학생들의 눈은 존경심으로 빛나고 있었다. 단상에 선 이는 앨런 튜링의 지도 교수이자 당대 최고의 논리학자 중 한 명인 맥스 뉴먼이었다.

“오늘 우리는 20세기 수학의 가장 거대하고, 또 가장 비극적인 꿈에 대해 이야기할 것입니다.”

뉴먼 교수의 목소리는 낮고 차분했지만, 그 안에는 어떤 비장함마저 서려 있었다. 그의 시선이 강의실을 천천히 훑었다.

“그 꿈의 주인은 다비트 힐베르트. 괴팅겐의 교황이라 불렸던 남자입니다.”

‘다비트 힐베르트.’
그 이름이 나오자, 학생들 사이에서 나지막한 탄성이 흘렀다. 20세기 초 수학계에 있어 힐베르트는 신과 동의어였다. 그는 수학이라는 거대한 건축물이 완벽하고 영원히 흔들리지 않는 토대 위에 세워지기를 꿈꿨다.

뉴먼 교수는 분필을 들어 칠판에 단어 몇 개를 적었다.

“힐베르트는 수학을 완벽한 형식 체계로 만들고자 했습니다. 이 두 가지 원칙 아래, 수학의 모든 질문에 답할 수 있으리라 믿었죠. 하지만 그의 야망은 여기서 그치지 않았습니다.”

뉴먼 교수는 잠시 말을 멈추고 학생들의 얼굴을 하나하나 뜯어보았다. 마치 자신이 던질 질문의 무게를 가늠이라도 하려는 듯했다.

“그는 여기서 한 걸음 더 나아가, 궁극의 질문을 던졌습니다.”

뉴먼은 칠판에 독일어 단어 하나를 힘주어 썼다.

「Entscheidungsproblem」

독일어에 익숙지 않은 학생들의 얼굴에 물음표가 떠올랐다.

“엔트샤이둥스프로블렘. 영어로는 ‘결정 문제(The Decision Problem)’라고 합니다.”

뉴먼 교수가 말을 이었다.
“질문은 이것입니다. ‘어떤 수학적 명제가 주어졌을 때, 그 명제가 유한한 단계의 계산을 통해 참인지 거짓인지 판별할 수 있는, 명확하고 기계적인 절차(effective method)가 존재하는가?’”

강의실이 순간 정적에 휩싸였다.
학생들은 그 질문의 거대함에 압도당했다. 그것은 단순히 하나의 문제를 푸는 방법론이 아니었다. 수학 전체를 꿰뚫는 만능 열쇠, 모든 수학적 진리를 판별해내는 기계적인 심판의 존재 가능성을 묻는 질문이었다.

어떤 학생은 그 장대함에 감탄했고, 어떤 학생은 그 불가능에 가까운 야망에 고개를 저었다.

하지만 앨런 튜링은 달랐다.
그의 귀에는 ‘수학적 명제’나 ‘참, 거짓’ 같은 거창한 단어들이 들어오지 않았다. 그의 뇌리에 번개처럼 꽂힌 것은 다른 구절이었다.

‘명확하고 기계적인 절차(effective method).’

튜링의 등이 등받이에서 떨어졌다. 그의 몸이 미세하게 앞으로 기울었다. 그의 눈이 그 어느 때보다 강렬하게 빛나기 시작했다.

다른 이들이 힐베르트의 꿈이라는 ‘목표’에 집중할 때, 튜링은 그 목표에 도달하기 위한 ‘수단’에 꽂혔다.

‘기계적인 절차….’

그의 머릿속에서 단어들이 맴돌았다.
‘정해진 규칙에 따라 움직이는 것.’
‘생각이나 직관이 배제된, 단순한 단계들의 반복.’

순간, 1년 전 크리스토퍼의 죽음 이후 그를 내내 괴롭히던 질문이 결정 문제와 기묘하게 공명했다.

‘뇌는 기계다. 생각은 계산 과정이다.’

그렇다면 ‘생각’ 역시 일종의 ‘기계적인 절차’가 아닐까?
결정 문제를 풀기 위해서는, 아니, 결정 문제가 풀 수 없는 문제임을 증명하기 위해서는 가장 먼저 해야 할 일이 있었다.

‘기계적인 절차란 무엇인가?’
‘계산이란 행위는, 대체 무엇으로 정의되는가?’

지금까지 누구도 그것을 명확하게 정의 내리지 못했다. 뉴먼 교수가 말한 ‘effective method’라는 단어 자체도 실은 모호하고 철학적인 표현일 뿐이었다.

튜링은 깨달았다.
힐베르트가 던진 이 거대한 질문의 핵심을 꿰뚫기 위해서는, 먼저 ‘계산하는 기계’ 그 자체를 상상 속에서 만들어내야만 한다는 것을.

강의가 끝나는 종소리가 울렸지만, 튜링은 자리에 못 박힌 듯 앉아 있었다. 다른 학생들이 흩어지는 소음 속에서 그는 완벽한 고요를 느꼈다.

시대의 망령처럼 떠돌던 힐베르트의 질문이, 마침내 앨런 튜링이라는 단 한 명의 청중을 향해 운명처럼 속삭이고 있었다.

“나를 증명하거나, 혹은 나를 파괴하라.”

시대의 망령, 결정 문제(Entscheidungsproblem)