20세기에 들어서면서 괴팅겐 대학의 그 찬란한 영광을 재현시킨 수학자가 곧 힐베르트(1862-1943)이다. 현대 수학의 아버지라고 일컬어지는 힐베르트는 1900년 세계 수학자회의에서 20세기에 풀어야 할 23개의 문제를 발표하고, 그 이후 끊임없는 열정으로 이 문제들과 싸워나갔다. “우리는 알아야 한다. 우리는 알게 될 것이다”라는 그의 비문(碑文)은 수학자로서의 그의 열정을 잘 웅변해주고 있다.
힐베르트가 제출한 23개의 문제 중 첫 번째 문제는 칸토어의 연속체 가설이 참인지 여부를 결정하는 문제였고, 두 번째 문제는 산수로부터 모순이 도출되지 않는다는 것을 어떻게 증명할 것인가 하는 문제였다. 힐베르트가 이 문제를 제기하지 않을 수 없었던 이유는 당시 이른바 “수학의 위기”가 닥쳐오고 있었기 때문이다. 상식적으로 우리는 수학에서는 당연히 모순이 도출되지 않을 것이라고 생각한다. 그러나 이러한 소박한 믿음과는 달리 20세기에 들어서면서 이른바 역설이 발견됐다. 다른 영역도 아니라 수학에서 아무런 문제가 없는 듯이 보이는 전제와 추론규칙으로부터 모순이 도출된다면 이는 분명 심각한 문제가 아닐 수 없다.
예컨대 러셀의 역설은 대표적이다. 가령 호랑이의 집합은 호랑이가 아니므로 호랑이의 집합의 한 원소가 아니다. 이제 호랑이의 집합과 같이 자기 자신의 원소가 아닌 집합들을 모두 모은 집합을 생각해 보자. 이 집합은 자기 자신의 원소인가? 자기 자신의 원소라면 이 집합은 자기 자신의 원소가 아닌 집합들을 모두 모은 것이므로 자기 자신의 원소가 아니어야 하며, 자기 자신의 원소가 아니라면 이 집합은 자기 자신의 원소가 아닌 집합들을 모두 모은 것이므로 자기 자신의 원소여야 한다. 즉 모순이 나온다.
힐베르트는 소위 힐베르트 프로그램이라는 계획을 통하여 역설의 문제를 정면으로 돌파하려고 한다. 그는 수학을 형식화해서 그 형식 체계에서는 모순이 도출되지 않는다는 것을 엄밀하게 증명할 수 있을 것이라고 낙관하였다. 그러면서 그는 수학이 완전할 것이라고 믿었다. 그렇다면 “완전하다”라는 것은 무엇인가? 한 체계가 완전하다 함은 그 체계에서 참인 문장은 모두 그 체계에서 증명할 수 있다는 것을 뜻한다. 따라서 어떤 문장이 한 체계에서 참인데도 증명 가능하지 않다면 그 체계는 불완전하다.
수학에서는 아직 참인지 여부를 모르는 명제들이 있다. 골드바하의 추측은 대표적인 예이다. 골드바하의 추측에 따르면 2보다 큰 짝수는 모두 두 개의 소수의 합으로 나타낼 수 있다. 예를 들면, 4 = 2 + 2, 6 = 3 + 3, 8 = 3 + 5, 10 = 3 + 7, 12 = 5 + 7 등이다. 이제 어떤 수학자가 몇 백만 자리 수까지 실제로 계산해보았더니 그 수까지는 골드바하의 추측이 옳다는 것이 밝혀졌다. 그렇다면 골드바하의 추측은 모든 수에 대해서도 성립할까? 더 나아가 만일 골드바하의 추측이 참이라면 우리는 그것을 증명할 수 있을까? 괴델의 불완전성 정리가 말하는 것은 산수의 체계에서는 참이지만 증명할 수 없는 명제가 존재한다는 것이다. 더 나아가 산수를 포함하는 수학체계에서 모순이 도출되지 않는다는 것을 그 수학체계에서는 증명할 수 없다는 것이다.
힐베르트는 자신의 프로그램을 통하여 수학에서 모순이 도출되지 않는다는 것을 증명하고자 하였고 수학이 완전할 것이라고 믿었다. 사람들은 힐베르트 프로그램에 열광했으며, 그 계획이 조만간 실현될 것이라고 믿었다. 그러나 괴델이라는 천재는 이러한 믿음과 기대를 송두리째 앗아가 버린다. 당시 괴델이 불완전성 정리의 얼개를 발표했을 때 오직 한 사람만 이를 이해할 수 있었다고 한다. 폰 노이만이었다. 그 이후 폰 노이만은 자존심에 상처를 입고 수리논리학 연구를 완전히 접어버린다.
사실상 괴델이라는 천재는 힐베르트라는 천재에 의해서 가능했다. 괴델이 제시한 불완전성 정리는 완전성, 불완전성, 무모순성 증명, 결정가능성 등 힐베르트의 선행된 연구와 개념규정을 토대로 가능했던 것이다. 프레게가 현대 논리학을 창안한 이후 거의 50년이 지나서야 힐베르트에 의해 그러한 개념규정과 문제설정이 주어졌고, 괴델이 이를 재빨리 해결했던 것이다.
저작권자 © 전북도민일보 무단전재 및 수집, 재배포 금지
