1993년 6월 23일 영국 케임브리지대에 소속되어 있는 뉴턴 연구소 1층 강당에서 케임브리지 출생의 미국 프린스턴대 앤드루 와일즈 교수(59·현 옥스퍼드대 교수)가 사흘 연속 계속한 강연을 끝맺으면서 이것으로 페르마의 마지막 정리는 증명되었다고 선언했다. 수학의 대가들의 모임인 청중 사이에서는 흥분과 감탄이 터져 나왔고 수학 역사상 최대 난제를 풀었다는 소식은 전 세계로 급히 타전됐다. 뉴턴 연구소는 이 대학 교수를 지낸 뉴턴(1642∼1727)을 기념하기 위해 세워진 곳이지만, 지금은 페르마 정리를 해결한 명소로 변해 있다. 그리고 페르마의 마지막 정리 풀이 기념 티셔츠와 머그잔 등 기념품도 판매하고 있다. 뿐만 아니라, 페르마의 마지막 정리풀이로 엔드루 교수는 살아있는 세계에서 가장 유명한 수학자가 됐다고 한다.
엔드루 와일즈교수의 풀이 과정도 한 편의 드라마처럼 극적이다. 엔드루 와일즈교수는 열 살 때 동네 공공 도서관에서 ‘페르마의 마지막 정리는 보기에 간단하지만 300년 이상 풀리지 않고 있다’는 내용을 보고 이 정리를 푸는 것을 평생의 목표로 삼았다고 한다. 그는 교수가 된 후 한동안 그 문제를 잊고 있다가, 아직 누구도 풀지 못했다는 소식을 다시 접하고는 본격적인 도전에 나선다. 그는 다른 사람과 의견을 교환하면 경쟁자가 나타나거나 자신의 풀이 과정 정보가 유출될 것을 우려해 다락방에 칩거해 풀이에 매달렸다고 한다. 7년 이 지난 후, 드디어 모듈러 형식, 타원 곡선, 그리고 갈루아 리프레젠테이션이라는 애매한(?) 제목의 강연을 마치면서 200여 쪽의 풀이 노트를 내놓을 때까지 누구도 이것이 페르마의 마지막 정리의 증명임을 알지 못했다고 한다.
페르마의 마지막 정리의 풀이는 와일즈교수 개인에 의해 마무리됐지만, 많은 수학자들의 성과와 정수론과 기하학 분야 등 20세기 첨단 수학 이론이 총동원된 것이라는 것이 수학계의 일반적인 평가다. 따라서 이런 기법이 나오지 않은 300여 년 전 페르마가 자신의 메모에서 정리를 증명했다고 한 것처럼 실제로 증명했는지에 대해 논란이 있다. 당시로서는 불가능했을 것이라는 의문이 제기되지만, 페르마가 많은 정리를 증명하면서 보여준 천재성과 성실성, 진실성에 비추어 현대 수학자들이 모르는 증명이 있었을 수도 있다는 의견도 없지 않다.
페르마가 수학사에 남긴 큰 기여 중의 하나는 소수(1과 자신 외에는 나누어떨어지지 않는 수로 1, 3, 5, 7, 11, 13 등 무한히 많다)와 관련된 많은 자연수의 패턴들을 발견한 점이다. 그리고 소수에 관련된 난제들도 많이 남겼다. 예를 들면,
p=+1 꼴의 소수를 페르마 소수라고 불렀다. 그런데, 모든 k에 대해 이런 꼴의 수가 다 소수인 건 아니다. 예를 들어 k=3이면 p=9는 소수가 아니다. p가 소수이려면 k는 무슨 값이어야 할까?
실제로, k가 1이 아닌 홀수 약수 b를 가진다고 하고, k = a×b 라 하자. 이 때, +1 은 (+1)(-+…-+1) 로 인수분해 할 수 있으므로 +1 을 약수로 가진다. 예를 들어, 3과 5는 60의 홀수 약수이므로, +1 은 각각 +1 과, +1의 배수가 되어 소수가 아님을 확인할 수 있다. 따라서 p = +1 이 소수이려면, k는 1이 아닌 홀수 인수를 가질 수 없다. 따라서 k 자체가 꼴이어야만 한다. 이때, m이 0, 1, 2, 3, 4일 때 각각 k는 1, 2, 4, 8, 16이므로, p는 3, 5, 17, 257, 65537이다. 실제로 이 수들은 모두 소수다. 그러면 페르마 소수는 더 없을까? 페르마는 k 자체가 꼴일 때, +1 꼴의 수가 모두 소수라고 주장했다. 페르마의 주장이 사실이라면 기존에 알려진 것보다 더 큰 소수를 찾는 경쟁도 필요가 없었을 텐데, 세상이 그렇게 만만하지는 않다. 예를 들어 k=25 일 때, p=4,294,967,297 은 641×6,700,417 이며, 이것이 소수가 아니라는 것을 1732년에 오일러가 발견했고, 그 뒤 k=26, 27, …, 232 에 대해 p = +1 은 모두 합성수로 밝혀졌다. 현재까지 알려진 페르마 소수는 위에 나온 다섯 개밖에 없고, 더는 없을 것이라는 예상마저 나오는 형편인데, 틀린 주장을 한 사람의 이름을 따서 페르마 소수라고 이름을 붙인 것은 아이러니하기도 한다.
페르마의 작은 정리라고 이름 붙은 이 정리가 나온 후, 1세기 후에야 스위스의 수학자인 오일러는 이 명제가 진실임을 증명했다. 페르마는 또 당대의 최고 프로 수학자 파스칼과 함께 확률론의 기초를 닦았다. 파스칼은 르네상스 시대의 레오나르도 다빈치에게 수학을 가르친 수도사 피치올리가 낸 것으로 도박을 하던 판이 중간에 깨졌을 때 어떻게 나눠 가져야 하나? 라는 200년 이상 된 문제가 안 풀리자 페르마에게 도움을 요청했다고 한다. 비록 이 두 사람은 평생 서로 얼굴을 보지 못했지만 수학으로서 친구가 됐다.
<이학박사 김인수, 호남수학회장, 대한수학회 부회장, 전북대학교자연과학대학 수학과>
