초등학교 산수 외에는 수학을 배운 적이 없는 프랑스 툴루즈 지방법원의 법관이었던 페르마가 17세기에 남긴 마지막정리는 미국 프린스턴대학 교수인 앤드루 와일즈에 의해 풀릴 때까지 약 350년 이상 전 세계의 수학자들의 골머리를 아프게 했다. 이 정리는 고대 그리스의 수학자 피타고라스가 남긴 피타고라스의 정리와 함께 수학사에 가장 유명한 정리중 하나로 꼽힌다.
페르마가 활동할 당시 법관들은 일반인과 자유롭게 만나는 것이 금지됐다. 왜냐하면 누구라도 언젠가 법정에 나와 재판을 받을지 모르므로 법관의 판단에 영향을 줄 수 있다는 이유였다. 낮에는 이교도에 대한 화형 등의 판결을 내리고 밤에는 사회로부터 고립된 페르마는 피로와 무료함 그리고 고독에서 벗어나기 위해 서른 살쯤부터 수학에 빠져든 것으로 알려져 있다. 페르마는 평소 자신을 아마추어라고 생각해 단 한 편의 수학 논문도 발표하지 않았으며 스스로 발견한 내용도 세상에 공개하지 않았다. 마지막 정리도 페르마가 책의 한 여백에 나는 이 정리를 위한 멋진 증명을 알고 있는데 여백이 좁아 기록할 수가 없다고 적어 놓아 세상에 알려졌다. 그가 이 메모를 남긴 책은 기원후 3세기의 수학자 디오판토스가 쓴 산술학의 라틴어 번역판이었다. 친필 메모가 있던 책은 전하지 않지만 페르마의 아들 사무엘이 아버지가 사망하고 5년 후 유고집을 엮으면서 또 다른 라틴어판 산술학에 아버지의 메모를 추가한 증보판을 내면서 마지막 정리 등의 메모가 전해지게 됐다. 페르마가 근무했던 법원 자리에는 2008년 새로 지은 툴루즈 지방법원이 들어섰으며, 나폴레옹 시절 기존 중고교 이름을 바꿔 만든 페르마 중고등학교는 현재 프랑스 최고 명문고 중 하나라고 한다.
페르마의 생가는 툴루즈에서 서북쪽으로 자동차로 1시간 거리인 한적한 농촌 소도시 보몽드로마뉴에 있다. 이 도시는 중심가를 아예 페르마 거리라 이름 지었고 시청 건너편에는 대형 석상도 세웠다. 사각형으로 된 석상 아래에는 후대의 유명한 수학자 피에르 라플라스와 블레즈 파스칼이 페르마를 기념하여 쓴 ‘페르마는 진정한 발명가, 세상에서 제일 큰 인물’ 등의 칭송이 새겨져 있다. 그리고 석상 앞쪽에는 페르마의 아들이 당시 최고 명문 고등교육기관인 에콜 폴리테크니크에 다녔다는 등 집안 자랑이 적혀 있다. 또한 그의 생가는 시에서 도서관과 박물관, 관광안내소 등으로 사용 중이다. 보몽드로마뉴시는 툴루즈대 수학과와 공동으로 이곳을 3, 4년 안에 페르마 자료 전용 전시관으로 바꿀 계획이라고 하며 이곳을 찾는 관광객만 한 해 약 2만 명이라고 한다. 보몽드로마뉴 시는 매년 10월 ‘페르마 축제’를 개최하고 있으며 지난해에는 그의 탄생 410주년 기념행사도 치렀다고 한다. 당시 페르마정리는 수많은 수학자들의 도전의식을 자극하여 풀이에 매달렸으나 풀지 못했다. 아르키메데스, 아이작 뉴턴과 함께 역사상 3대 수학자로 꼽히는 독일의 가우스조차도 ‘그런 풀지 못할 정리는 나도 낼 수 있다’며 거들떠보지도 않았다가 20세기 말에 해답이 나와 그의 명성에 옥의 티를 남겼다. 페르마의 생가가 있는 프랑스 보몽드로마뉴 시에 세워진 석상은 1883년 동상이 세워졌으나 제2차 세계대전 때 독일군이 포탄을 만들기 위해 철거했으나, 전쟁 후 1955년에 한 수학 교사가 자기 고장에서 천재 수학자를 배출했다는 긍지를 갖자며 다시 석상을 세웠다고 한다.
프랑스 학술원이 1816년에 페르마정리를 푸는 자에 대해 금메달과 상금 3000프랑을 내건 후, 1857년에 쿠머라는 수학자에게 시상한 것으로 알려졌다. 실제로 문제를 풀지 못한 엉뚱한 사람에게 상을 준 셈이다. 한편 독일 괴팅겐 왕립과학 아카데미도 1908년 페르마정리를 푼 사람에게 주기 위해 10만 마르크의 볼프스켈 상을 제정하여 수년간 수천 건을 접수했으나 모두 불합격 처리했다. 볼프스켈상의 제정 경위도 흥미롭다. 상금을 내놓은 볼프스켈은 독일 사업가이자 아마추어 수학 애호가로 실연당한 슬픔에 자살을 결심하고 자살 시한을 정했다고 한다. 그는 극도로 우울한 상황에서 우연히 본 마지막 정리를 풀기에 매달리다 그만 자살 시한을 넘기고 말았다고 한다. 이 문제가 자신의 목숨을 살렸다고 판단한 그는 거금을 문제 해결한 사람에게 제시했다. 결국 이 상은 90년 동안 주인을 찾지 못한 채 방치되었다가 1997년 앤드루 와일즈 교수에게 돌아갔다.
페르마정리 증명을 기념하는 영국 케임브리지대학 아이작 뉴턴 연구소에서 판매하는 기념 티셔츠에는 앤드루 와일스 교수가 페르마의 마지막 정리를 증명했음을 소개하고 있다. 그리고 이 티셔츠에는 ‘그의 우아한 증명에 비해 이 티셔츠는 너무 크기가 작다’ 는 마지막 문장이 눈길을 끈다. 실제로, 페르마의 마지막 정리는 첨단 컴퓨터로도 풀지 못했을 뿐만 아니라, 지금도 풀이를 완전히 이해하는 수학자는 많지 않은 것으로 알려졌다. 그의 첫 발표 후 풀이에 몇 가지 결함이 있다는 의견이 제시되자, 엔드루는 또다시 1년여를 칩거에 들어갔으며 이후 해결책을 제시했다. 그리고 1995년 5월호 수학 연보(Annal of mathematics)에 그 해결방법을 발표함으로써 그의 정리는 국제적 공인을 얻었다.
이학박사 김인수, 호남수학회장, 대한수학회 부회장, 전북대학교자연과학대학 수학과
