튜링의 마지막 노트 - '확실한 방법'이란 무엇인가? (제4화)

뉴먼 교수의 강의가 끝난 뒤에도, ‘결정 문제’의 여운은 튜링의 머릿속을 떠나지 않았다. 그는 도서관에 틀어박혀 힐베르트와 관련된 논문들을 닥치는 대로 읽어 내려갔다. 그러나 파고들수록 답은커녕 의문만 더 깊어졌다.

문제의 핵심은 한 단어에 있었다.

‘Effective method.’

한국어로는 ‘유효한 방법’ 혹은 ‘확실한 방법’. 힐베르트가 말한 ‘기계적 절차’를 지칭하는 말이었다. 모든 수학자들이 그 단어의 의미를 직관적으로는 이해했다.

더하기, 빼기, 곱하기, 나누기.
유클리드 호제법으로 최대공약수를 구하는 것.
이런 것들은 명백히 ‘확실한 방법’이었다. 정해진 규칙에 따라 한 단계씩 따라가기만 하면, 누구든, 심지어 기계라도 같은 답을 내놓을 수 있었다.

하지만 ‘직관’이나 ‘영감’, ‘창의적인 도약’ 같은 것은 어떨까?
위대한 수학자가 번뜩이는 통찰력으로 증명의 실마리를 찾아내는 순간. 그것은 ‘확실한 방법’의 범주에 들어가는가? 당연히 아니었다.

튜링은 지도 교수인 맥스 뉴먼의 연구실 문을 두드렸다. 뉴먼은 책 더미에 파묻혀 있다가 튜링을 보고는 안경을 고쳐 썼다.

“튜링 군, 무슨 일인가?”

“교수님. 결정 문제에 대해 여쭤볼 것이 있습니다.”

튜링은 말을 더듬으며 조심스럽게 입을 열었다.
“힐베르트가 말한… ‘확실한 방법(effective method)’에 대한… 명확한 수학적 정의가… 있습니까?”

뉴먼 교수는 잠시 생각에 잠겼다가, 고개를 저었다.
“없네. 그것이 바로 이 문제의 가장 큰 난점이지.”

그는 의자에서 일어나 창가로 걸어갔다.
“마치 ‘맛있는 음식’을 정의하려는 것과 같다고 할 수 있겠지. 우리는 무엇이 맛있는 음식인지 안다고 생각하네. 잘 구운 스테이크, 어머니가 끓여준 수프. 하지만 ‘맛있음’을 수학 공식처럼 정의할 수 있나? 소금 몇 그램, 단백질 몇 그램, 온도 몇 도… 그런 식으로 정의할 수는 없는 노릇이야.”

뉴먼 교수는 튜링을 돌아보며 말했다.
“‘확실한 방법’도 마찬가지일세. 우리는 그것이 무엇인지 안다고 ‘믿지만’, 아무도 그 경계를 정확히 그어본 적이 없어. 모두가 암묵적으로 동의하는, 일종의 신사 협정 같은 거지.”

튜링의 얼굴에 실망감이 스쳤다.
“그렇다면… 결정 문제는… 풀 수 없는 것 아닙니까? 정의되지 않은 개념을 가지고… 존재 여부를 논하는 것은… 무의미합니다.”

“정확히 봤네.”

뉴먼은 만족스러운 미소를 지었다.
“그래서 결정 문제에 대한 답이 ‘아니오’일 것이라고 추측하는 논리학자들이 많은 걸세. 만약 모든 것을 판별하는 기계적 절차가 존재한다면, 누군가는 벌써 그 절차의 실마리라도 발견했어야 하지 않겠나? 하지만 지금까지 누구도 그러지 못했어.”

하지만 튜링의 생각은 달랐다.
그는 ‘풀 수 없다’는 결론에 만족할 수 없었다. ‘아마도 아닐 것이다’라는 추측은 수학이 아니었다. 증명해야 했다. 결정 문제가 왜 풀 수 없는지를, 수학적으로 엄밀하게 증명해야만 했다.

그러기 위해서는 가장 먼저 넘어야 할 산이 있었다.

‘맛있는 음식’의 정의는 사람마다 다를 수 있다. 하지만 ‘계산’의 정의는 그러면 안 된다. 계산은 보편적이어야 한다.

뉴먼 교수의 연구실을 나온 튜링은 케임 강변을 향해 무작정 걷기 시작했다. 그의 머릿속은 온통 ‘계산’이라는 행위로 가득 찼다.

‘사람이 계산을 할 때, 정확히 무슨 일이 일어나는가?’

그는 자신의 사고 과정을 하나씩 분해하기 시작했다.
아주 긴 곱셈 문제를 푼다고 상상해보자.

나는 종이 위에 쓰인 숫자를 본다. (입력)
나는 지금 곱셈의 어느 단계를 하고 있는지 기억한다. (상태)
기억하고 있는 상태와 눈으로 본 숫자에 따라, 구구단을 외운다. (규칙)
결과로 나온 숫자를 종이의 다른 곳에 적는다. (출력/쓰기)
다음 계산을 위해 옆 칸으로 시선을 옮긴다. (이동)

그는 걸음을 멈췄다.
이것이다.
아무리 복잡한 계산이라도, 결국 이 몇 가지 단순한 행동의 조합이 아닐까?

읽기.
쓰기.
상태 기억하기.
기억과 입력에 따라 다음 행동 결정하기.
이동하기.

그 순간, 튜링의 머릿속에 희미한 안개가 걷히는 듯한 느낌이 들었다.
‘확실한 방법’이라는 모호하고 철학적인 개념을, 구체적이고 물리적인 행동들로 구성된 ‘기계’의 작동 원리로 정의할 수 있을지도 모른다는 가능성.

그것은 누구도 시도하지 않은 발상이었다.
힐베르트의 거대한 질문에 답하기 위해, 튜링은 이제껏 수학자들이 외면해왔던 가장 근본적인 영역, ‘계산이란 무엇인가’라는 질문의 심연으로 스스로 걸어 들어가고 있었다. 그 손에는 ‘상상 속의 기계’라는 설계도가 어렴풋이 들려 있었다.