물건이 여러 개 있을 때 가장 먼저 떠오르는 질문은 그 물건이 ‘몇 개’냐는 것일 것이다. 이처럼 단순히 물건의 개수를 세는 것부터 산수가 생겨났는데, 인류는 이에 그치지 않고 덧셈과 곱셈 등 연산을 발명했고, 수학을 하기 시작했다. 유한하다면, 짝을 지어보면 안다. 물건이 두 종류가 있을 때는 자연스럽게 어느 것이 더 많은가라는 질문이 나온다. 이런 간단한 질문으로부터 인류는 ‘대소 관계’라는 수학적 개념을 발명한다. 정확히 말하자면 다소 관계라 해야겠지만, 어차피 수치화하면 대소 관계다. 예를 들어 돌멩이 몇 개와, 동전 몇 개가 있을 때 어느 쪽이 많은지 알고 싶으면, 각각의 개수를 세는 것이 확실하다. 하지만 인간은 이보다는 좀 더 현명하다. 어느 쪽이 더 많은가에만 관심이 있을 경우, 돌멩이와 동전을 짝지어보는 방법이 있다. 짝을 지어가다가, 돌멩이가 남는지 동전이 남는지 보는 것이다. 사실 몇 개인지 셀 줄 모르는 유아들도 이러한 짝짓기를 통해 어느 쪽이 많은지 인지하는 경우가 보통이다. 즉, 많고 적음을 구별하는 것은 개수를 세는 것보다 오히려 더 기본적인 수학 개념이라 할 수 있다.
그런데 물건이 모래처럼 무한히 많다면 어떻게 비교할까? 하지만, 이런 종류의 질문은 근본적으로 유한개의 물건에만 해당한다. 무한개의 물건이 있을 때 몇 개냐는 질문은 하나마나다. 물건의 개수를 일일이 세고 있을 사람은 아무도 없을 것이고, 유한한 인간은 결코 다 셀 수가 없다. 그냥 무한개라는 말로 충분하지 않는가? 그런데 여기서 그치면 그야말로 산수만 하다 마는 셈이다. 이번에는 두 종류의 물건이 각각 무한개일 때, ‘어느 쪽이 더 많을까’라는 질문을 던져 보기로 하자. 일일이 세고 있어서야 비교는커녕 한쪽도 다 못 센다. 비교가 목적이니, 두 물건을 짝지어 보는 게 그나마 노력을 더는 현명한 처사일 것이다. 그런데 무한개의 짝을 지어주는 것 또한 유한한 생명의 사람이 할 짓은 아니다. ‘무한개는 모두 개수가 똑같겠지’라는 답을 서둘러 내리고 싶은 생각이 굴뚝같이 드는 것이다. 무한개의 물건이 두 종류가 있으면 어느 쪽도 안 남게 항상 서로 짝을 지어줄 수 있다는 얘기인데, 과연 그럴까?
만사가 그렇지만 지나고 보면 당연한 질문인데, 무한을 두려워했던 인류는 이런 질문 자체를 꺼려한 듯하다. 긴 침묵을 깨고 무한집합의 개수에 대해 최초로 주목할 만한 글을 남긴 사람은 현대 과학의 아버지 갈릴레오(Galileo Galilei, 1564-1642)다. 갈릴레오는 1632년 두 개의 주요 세계 체계에 대한 대화라는 책을 출판했다. 이 책은 사그레도, 살비아티, 심플리치오라는 세 인물이 지동설과 천동설에 대해 논하는 형식으로 돼 있다. 사실상 지동설을 지지한 이 책 때문에 갈릴레오는 로마 교황청의 이교도 심판을 받아 가택에 연금되고 출판을 금지 당했다. 하지만 갈릴레오는 1638년 교황청의 영향력이 약한 네덜란드에서 새로운 두 과학에 대한 논의 및 수학적 설명을 펴낸다. 스티븐 호킹이 뉴턴의 운동 법칙을 예견한 책이라 부른 책이다. 완전제곱수의 집합 S = { 1, 4, 9, 16, 25, 36, …}와 자연수의 집합 N = { 1, 2, 3, 4, 5, 6, …}을 생각하고, S의 원소 s=n2에 N의 원소 n을 대응하면 일대일 대응하므로 개수가 같아야한다. 하지만, S가 N의 진부분집합임은 명백하고, 위의 논증에 따르면 S는 N보다 원소의 개수가 한참 적어야한다는 것 또한 그럴듯하니 어찌된 일이냐는 질문이다. 짝수의 개수와 자연수의 개수 어느 쪽이 많나? 자연수와 짝수는 개수가 같나? 무한에 이르면 모든 것이 의문투성이가 된다.
칸토어는 갈릴레오의 생각을 이어받아 ‘대응’의 개념을 적극적으로 받아들여 무한집합론을 전개하는데 성공한다. 두 집합이 서로 일대일 대응, 즉, 남김도 중복도 없이 대응하도록 최선을 다해 만들 수 있을 때 개수가 같다고 정의하는데, 무한집합에서는 조금 더 고급 용어인 기수(基數, cardinality)라는 말을 써서 기수가 같다는 표현을 주로 쓴다. 앞서도 보았지만, 무한집합일 경우 A와 B를 중복 없이 짝지어 A의 원소는 모두 소진하고, B의 원소는 남는다 해도 A의 기수가 B의 기수보다 작다는 결론을 내릴 수 없다는 데 주의해야 한다. 조금 더 노력하면 일대일 대응을 만들 수 있을지는 아직 알 수 없기 때문에, A의 기수는 B의 기수보다 작거나 같다는 결론밖에 내릴 수 없다.
그런데, 갈릴레오는 한 선분과 다른 선분은 서로 기수가 같다는 사실을 증명했다. 또한, 완전제곱수의 집합과 자연수의 집합 역시 기수가 같다는 사실도 증명했고, 짝수와 자연수도 기수가 같다는 사실을 증명했다. 이쯤 되고 보면, 불현듯 모든 무한집합은 기수가 같은 건 아닐까라는 생각이 고개를 든다. 즉, 어떤 무한집합을 가져오든 최선을 다 하면 항상 서로 남김도 중복도 없이 대응하게 만들 수 있지 않을까라는 의심이 드는 건 자연스럽다. 그렇다면 차라리 좋았으련만… 칸토어는 의외의 답을 내놓는다. 얼마나 뜻밖의 결론이었는지 당대의 내로라하는 수학자들마저 인정하기 힘들어했고, 많은 공격을 퍼부었다. 칸토어가 정신병원에 여러 번 수용된 것은 이렇게 공격당한 이유도 컸을 것이다. 훗날 힐베르트(David Hilbert, 1862~1943)는 누구도 칸토어가 창조한 낙원에서 우리를 추방할 수 없다고 했지만, 수학을 싫어하는 이들에게는 지옥일 수도 있겠지만, 그 낙원이 어떠한 곳인지는 이어지는 글들에서 더 자세히 살펴보기로 하자.
김인수<호남수학회장, 전북대학교자연과학대학 수학과>
