그의 연구가 무엇인지 궁금해 당시 언론보도를 봤다. '대역해석학과 미분기하학 분야에서 탁월한 연구 성과를 거뒀다'라고 나와 있다. 구체적인 내용이 궁금해 다음 줄을 봤으나, 설명이 암호와 같다. "특히 리만 곡면의 모듈라이 공간상의 계량 연구와 천-사이먼스(Chern-Simons) 이론, 3차원 다양체의 정규화된 부피와 관련해 여러 중요한 문제를 해결한 수학자로 평가받는다."

박 교수를 만나고 나올 때는 ‘암호’를 조금은 이해할 수 있지 않을까 기대한다. 박 교수 사무실은 7호관 건물 4층에 있다. 방문을 두드리고 들어갔다. 오후의 햇빛으로 방안이 환하다.

◆ "나는 기하학자"
고교 친구(경복고)들이 가끔 뭘 연구하느냐고 그에게 물어온다. 고등과학원은 또 뭘 하는 곳이냐며 질문한다. 박 교수는 "일반인에게 내 수학 연구를 설명하기가 굉장히 어렵다"라며 다음과 같이 말을 계속했다. 

"대학에 있으면 학생들 가르치고 하는 것을 상상할 수 있다. 하지만 고등과학원 교수는 학생이 없으니 가르치는 일이 없고 연구만 하는 곳이라고 하면, 수학 연구만 한다는 게 도대체 뭘 한다는 것인지 전혀 이해하지 못한다. 그래서 고등과학원에는 수학, 이론물리, 계산과학부가 있다. 나는 수학자이고, 연구하고 논문 쓰고 강연하고 세미나 주관도 하고 학회도 조직한다. 그런데 그렇게 얘기를 해도 여전히 내가 어떤 수학을 연구하는지에 대한 내용은 말하지 못한다. 어떻게 얘기해야 할지 막연하다."

박 교수에게 연구의 주요 키워드를 설명해달라고 했다. 순수수학은 기하학과 대수학, 해석학 크게 세 가지로 나눠볼 수 있다고 했다. 도형을 추상화한 기하적 대상을 연구하는 기하학, 자연수의 사칙 연산을 추상적인 구조(군, 환, 체 등)로 발전시킨 대수학, 그리고 미분 적분을 이용해서 함수의 성질을 연구하는 해석학. 박 교수는 "내가 공부하는 대상은 기하학적 대상이고, 이를 해석학적 방법을 써서 연구하고 있다"라고 말했다. 기하학적 대상을 해석학적 방법으로 연구하는 것을 '대역해석학'(global analysis)이라고 한다.

박 교수에게 "그러면 교수님은 기하학자이냐"라고 물었다. 박 교수는 "내가 쓰는 방법이 해석학적 방법일지라도 문제의 본질이 기하적이면 그건 기하학 문제를 다루고 있고, 기하학자인 것이다"라며 "나 스스로는 기하학자라고 생각한다"라고 말했다. 그는 이어 "하지만 대역해석학 분야 연구자 중에서 자신이 해석학자라고 생각하는 사람도 있을 것이다. 왜냐하면 문제의 본질이 해석학적인 문제일 수 있기 때문이다"라고 말했다.  

◆ "지도교수의 학생이 많았다"
박 교수는 서울대 수학과 87학번이다. 서울대 수학과 대학원에 진학해 김홍종 교수 연구실에 들어갔다. 김홍종 교수는 미분기하 전공자다. 그 당시에 김 교수가 지도하던 박사과정 학생은 13명이었다.  순수수학에서는 지도 교수 한 사람이 동시에 지도하기에는 굉장히 많은 학생 수였다. 따라서 지도 교수가 일일이 지도할 수가 없었다. 세계적인 수학자도 평생 길러내는 제자가 20~30명 이면 많은 편이다. 당시 서울대에 기하학을 연구하시는 교수가 많지 않아서 김홍종 교수 연구실에 대학원생이 몰린 것이었다. 결국, 각자가 알아서 연구해야 했다. 박진성 박사과정학생은 혼자서 공부했고, 그러다가 우연히 어떤 문제에 관심을 갖게 됐다. 그리고 그 문제를 해결해서 박사학위를 받았다. 그 문제가 뭐냐고 물었다. 박 교수 설명을 옮겨 본다.

"에드워드 위튼이라는 미국의 이론 물리학자가 있다. 그가 위튼 불변량(Witten invariant)이란 것을 정의했다. 위튼 불변량에 대한 구체적인 계산이 부분적으로는 되어 있었으나, 어떤 경우에는 되어 있지 않았다. 이 문제를 보니, 내가 아는 방법으로 계산할 수 있을 것 같았다. 이 문제에 대해 논문을 쓰고 졸업했다. 97년 초에 박사 학위를 받았다."

논문 제목이라도 알려달라고 했다. 박 교수가 연구실 책장 뒤편에서 검은 색 표지를 한 박사학위 논문을 꺼내왔다. 손으로 먼지를 닦고 보여준다. 한글 제목은 '어떤 3차원 다양체의 표현 공간과 half density 불변량'이다. 

half density를 한글로 뭐라고 할 수 있느냐고 물었더니, 용어가 마땅치 않다고 했다. 'half density 불변량'이 박 교수가 앞에서 말한 '위튼 불변량'이다. 위튼은 미국 고등과학원에 있는 이론물리학자이고, 수학의 노벨상이라는 필즈 메달(1990년)을 받은 바 있다. 일반인에게는 ‘끈 이론’(string theory) 연구가로 알려져 있다. 

연구 결과를 몇 달 동안 버려뒀다. 어느날 연구한 게 아깝다는 생각이 들어, 학술지 투고를 생각했다. 어떤 학술지에 보내야할지 판단이 안 됐다. 요즘과 같이 다양하고 손쉬운 투고 절차가 있을 때가 아니었다. 대부분 투고는 국제우편으로 보내야 했고, 일부 학술지가 이메일 접수를 시작했을 때였다. 국제우편으로 논문을 보내면 돈이 드니, 박진성 박사과정학생은 이메일로 접수하는 곳에 보냈다. 운이 좋게도 6개월 뒤에 학술지에서 내용을 일부 '수정'(revision)하라는 연락이 왔다.

심사위원(referee)은 논문 내용이 흥미 있고, 수학적으로 의미 있으나, 일단 논문의 영어 표현이 너무 안 좋다라고 했다. 심사위원은 박진성 학생이 쓴 영어 문장까지 고쳐서 보내왔다. 박 교수는 "고약한 심사위원 같았으면 바로 게재 거부 판단을 했을 것이다. 내가 보기에는 그분이 논문의 수학적인 의미를 평가하고, 게재를 위해 형식적인 부분을 보완하라고 말해온 것이다"라고 말했다. 이런 과정을 거쳐 논문은 미국 듀크대학교가 발행하는 '듀크 수학 학술지'(Duke Mathematical Journal)에 1996년 초여름 게재 승인되었다. 

박진성 대학원생은 지도교수를 찾아가 "제가 쓴 논문이 오늘 게재 승인 되었습니다"라고 얘기했다. 그리고 이 논문에 살을 붙여서 박사학위논문으로 하고 싶다고 말했다. 이렇게 해서 서울대 박사학위를 받았다.

박 교수는 이후에도 수학자의 길을 가며 혼자 연구해서 단독 논문을 여러 편 출판 하였다. 박 교수는 "공동연구 논문이 있으나, 내가 쓴 제일 좋은 논문의 절반 이상은 혼자 쓴 단독 논문들이다"라고 말했다. 박 교수 이야기를 다시 옮겨본다.

"혼자 하는 연구의 장점은 논문 아이디어가 더욱 독창적일 수 있다는 것이다. 다른 사람과 같이 작업하면 토론을 통해 깨달음을 얻을 수도 있다. 하지만 내 경우에는 좋은 결과는 혼자만의 사고 과정을 통해 얻어진 것이 더 많다. 논문 쓰는 동안에 거의 다른 사람과는 논문 얘기를 못 했거나 안 했다. 혼자 연구하면 나쁜 점도 있다. 수학은 순간 실족해서 실수할 확률이 매우 높은 분야이다. 굉장히 복잡하고 미묘한 논리 단계가 연속되기에, 잠깐 착각을 하면 엄청난 실수를 할 수 있다. 혼자서 연습장에 30페이지짜리 큰 계산을 하는 경우가 있다. 초반에 실수를 한 번 하면 이 후의 계산 과정은 다 무용지물이 된다. 혼자 계산하면 그럴 위험이 굉장히 크다. 공동 작업을 하면 실수할 확률이 줄어든다."

◆ 스펙트럴 불변량 탐구
서울대를 졸업하고 고등과학원 수학부의 연구원이 되어서 2000년까지 일했다. 그리고, 이 동안 연구직 병역 특례로 병역의무를 마쳤다. 이때 박 교수가 했던 문제가 있다. 첫 번째 논문에서 등장했던 위튼 불변량을 다른 불변량의 조합으로 표현할 수 있는데, 이 것들 중에 하나가 '스펙트럴 불변량'(Spectral invariant)이다. 스펙트럴 불변량이 무엇일까? 약간의 수학을 박 교수로부터 배워 본다. 

기하학적 대상에 미분다양체라는 것이 있다. 미분을 할 수 있다는 의미는 그 기하학적 대상이 연속적이며 매끄러운 구조를 갖는다는 것이다. 스펙트럴 불변량은 이런 특징을 가진 미분다양체에 있는 기하학적 미분 연산자(geometric differential operator)로부터 얻어지는 고유값(eigenvalue)들로 만들어진다. 

☞참고: 연산자는 연산을 하는 데 쓰는 기호나 단어다. 가령, 덧셈 뺄셈을 하는 건 산술 연산자이고, 미분을 하는 건 미분연산자이다. 흔히 수학자가 연산자라고 할 때는 벡터 공간(벡터들이 사는 공간)에서 선형변환을 할 때 사용하는 선형연산자를 가리킨다고 한다. 고유값은 선형변환이 몇 배나 되어 있는지를 알 수 있는 수치다.

미분 연산자의 고유값들로 만드는 불변량이 있는데, 이걸 스펙트럴 불변량이라고 한다. 스펙트럴 불변량을 이용하면 미분다양체를 분류할 수 있는 경우가 있다. 스펙트럴 불변량에 박 교수가 관심을 많이 갖고 있었다. 스펙트럴 불변량 이 외에 또 다른 불변량 (셀베르그 제타함수)이 있다. 스펙트럴 불변량과 셀베르그 제타함수의 특수한 점에서의 값 사이에 등식이 성립한다는 게 알려져 있었다.

박 교수는 "등식이 성립한다는 것이 어떤 쉬운 경우에는 증명이 되어 있었다. 나는 좀 더 복잡하고 어려운 경우에 관심이 있었다"라며 "그 문제를 공격하려면 공부를 많이 해야 했다"라고 말했다. 특히 노르웨이 수학자 아틀레 셀베르그(Atle Selberg)가 1956년에 만든 수학적 도구인 '셀베르그 흔적 공식'(Selberg trace formula)이라는 걸 알아야 했다.

◆ 다른 사람의 도움을 받다
일본 큐슈 대학의 마사토 와카야마 교수(현 명예교수)에게 1999년 이메일을 보냈다. 와카야마 교수는 '셀베르그 흔적 공식' 전문가 중 한 명이다. 만난 적도 없었고 별다른 인연도 없었으나, 그 분야 연구자라는 것만 알고 이메일로 도움을 청했다. 어떤 문제에 관심이 있고, 이 문제를 풀고 싶은데, 이를 위해 공부해야 할 내용이 무엇이냐고 질문을 했다. 나중에는 고등과학원으로 와카야마 교수를 초청하기도 했다. 

박 교수가 겪어보니 일본인은 상대 나이를 꼭 물어온다. 서양인은 그렇지 않은데. 와카야마 교수도 박 교수에게 나이를 물어왔고, 자신은 1955년생이라고 했다. 알고 보니 박 교수의 서울대 수학과 지도교수였던 김홍종 교수와 동갑이었다. 와카야마 교수가 인간적으로 박 교수에게 잘 대해줬다.

박 교수에게 '당신이 필요로 하는 것에 대한 논문을 독일에 있는 수학자(베르너 호프만, 현 빌레펠트 대학교 교수)가 최근에 썼다'고 알려줬다. 논문을 구해 보았지만, 박 교수는 전혀 이해할 수 없었다. 고생 고생해서야 논문을 겨우 이해할 수 있게 되었다. ’셀베르그 흔적 공식‘을 이해하는 데에 시간이 오래 걸렸다. 이어 긴 계산을 또 했다. 그리고 논문을 완성했다. 

논문을 쓰고 와카야마 교수에게 보내 코멘트를 받았다. 베르너 호프만 교수에게도 논문을 보내, 이런 연구를 하고 있노라고 알렸다. 학술지에 논문을 보냈는데 심사가 오래 걸렸다. 심사위원이 1년이 지나도록 심사를 하지 않았다. 학술지 에디터가 심사자를 바꾸겠다고 알려왔다. 결국 2005년 '미국수학학술지'(American Journal of Mathematics)에 출판되었다.(논문 제목은 Eta invariants and regularized determinants for odd dimensional hyperbolic manifolds with cusps이다.)

박 교수 이야기를 들어보니 '위튼 불변량'에서 연구가 시작되어 다른 분야로 변화하고 있었다. 그에게 왜 이런 주제에 관심이 있는지를 물었다. 박 교수는 "수학자마다 취향이 있다. 나는 개념을 이해하고, 개념을 구체적으로 계산하는 것을 좋아한다”라고 말했다. 그는 긴 계산이 필요하고, 긴 계산 뒤에 결과가 나오는 문제를 선호한다. 위튼 불변량의 경우에도 대학원 지도교수가 구체적인 문제를 주지는 않았으나, 지도교수가 관심을 가진 분야가 있었기에, 학생들에게 그런 방향의 연구 정보를 줬다. 그리고 그중에서 결과적으로 박 교수가 관심 있는 문제를 찾아낸 상황이었다. 

박 교수의 첫 번째 논문을 검증할 수 있는 수학자와 두 번째 논문을 검증할 수 있는 수학자는 전혀 다른 수학자일 수 밖에 없었다. 두 수학 논문의 영역이 완전히 다르기 때문이었다. 박 교수 나름대로는 두 주제가 연결이 되어 있고, 관심이 그렇게 흘러간 이유가 있지만 다른 사람이 보기에는 쉽게 연결 고리가 보이지 않는다. 박 교수는 "모르는 사람은 나를 보고 왜 저 사람은 어떤 분야의 연구를 하다가, 또 전혀 다른 주제의 연구를 하는가라고 의아해할 것"이라고 했다. 두 논문의 주제가 얼마나 다르다는 것일까?  

첫 번째 논문(박사학위) 주제는 '수리 물리' 문제이고, 연구 방법론은 위상수학이다. 두 번째 논문은 기하학인데, 이 논문의 대상은 쌍곡다양체 (hyperbolic manifold)이고, 연구방법으로는 리군에서의 조화해석학과 셀베르그 흔적 공식을 이용하였다. 박 교수는 "두 가지 다른 연구 방법이 이후 여러 연구에 큰 자산이 되었다"라고 말한다.
 
◆ 미국으로 가다
2000년 병역특례 기간이 끝날 때 한국에서는 안 되겠다고 생각했다. 그가 보기에는 자신의 주제에 관해 얘기할 사람이 주변에 없었다. 더구나 두 번째 논문 작업 때 다른 수학자의 도움을 받는다는 것이 얼마나 큰 차이를 만들어내는지 알게 되었다. 와카야마 교수와의 교류를 통해 이를 절감했기 때문이었다. 이때 그가 관심을 갖고 있던 또 다른 문제가 있었다. 

박 교수의 나이는 32살이었고, 교수 자리를 빨리 찾아야했다. 하지만 그는 불확실한 미래에도 불구하고 미국으로 갔다. 미국 인디애나 대학교 수학과의 크리스토프 보시에카우스키(Krysztof P. Wojciechowski) 교수에게로 갔다. 한국연구재단의 박사후연구원 1년 지원 프로그램을 받았기에 떠날 수 있었다.

보시에카우스키 교수는 폴란드 출신 수학자로 동유럽 민주화 뒤 미국으로 이주했다. 그는 대역해석학(global analysis) 전문가이고, 박 교수가 세 번째로 갖게 된 문제가 바로 '대역해석학' 분야의 문제였다. 이 문제를 해결하기 위해서는 앞의 두 문제와는 다른 수학적 방법이 필요했는데, 보시에카우스키 교수로부터 이 방법론을 배우기 위해서 미국으로 가게 된 것이다. 박 교수가 보기에는 세 문제가 모두 '불변량'에 관계된다는 공통점을 갖고 있다. 박 교수가 수학 용어를 사용하여 보시에카우스키 교수의 연구 주제를 빠른 말로 설명했다.

"보시에카우스키 교수님은 스펙트럴 불변량을 연구하셨다. 그걸 해석학적인 방법으로 하셨다. 위상적으로 구멍(genus)이 여러 개인 2차원 곡면의 미분다양체를 생각해 보자. 이걸 M이라고 하자. M을 두 개로 자르고, 나누어진 두 부분을 각각 M₁, M₂라고 하자. 그러면 M의 불변량과, M₁ 및 M₂의 불변량의 관계는 무엇인가를 생각할 수 있다. 두 개의 불변량을 더 하면 M의 불변량과 값이 같을까? 아니면 곱하면 같을까? 이런 식으로 자르기 전과 그 후의 스펙트럴 불변량이 변하느냐 변하지 않느냐를 따져 볼 수 있다. 이걸 gluing formula(‘접착 공식’이라는 뜻)라고 한다. glue는 풀을 뜻하니, gluing formula는 풀로 붙이는 접착 공식이라는 뜻이다. 보시에카우스키 교수님은 스펙트럴 불변량의 gluing formula에 대한 전문가였다. 이 분은 스펙트럴 불변량 중 eta 불변량에 대해서 gluing formula를 증명하신 바 있다. 그런데, 나는 또다른 스펙트럴 불변량(zeta regularized determinant)에 대한 gluing formula에 관심이 있었다. 이러한 내용을 이메일로 물었다. 그 분은 자기도 관심이 있는데, 아직 연구를 시작하지 못했다고 했다. 그래서 내가 고등과학원에 있으면서 이메일로 내용을 물어보다가, 미국으로 그 분을 찾아가기도 했다. 병력특례기간이 끝나지 않아 병무청 허가까지 받아 우여곡절 끝에 1999년 미국을 1주일 정도 방문한 적도 있었다. 그래서 1999년 후반에는 그 문제를 어떤 조건 하에서는 반 정도 해결할 수 있었다. 병역특례가 끝나자 미국으로 건너갔다."

미국에 간 다음해 한국의 한 대학이 교수 자리를 제안해왔다. 박 교수는 거절했다. 결혼도 했고, 아이도 있었는데 마다했다. 몇 달 뒤가 불확실했으나 공부를 더 해야 한다고 생각했다. 한국으로 돌아가면 옛날로 돌아갈 것 같아서 안 가겠다고 했던 것이다. 그 말을 들은 한 친한 선배가 "넌 무슨 생각으로 그러냐?"라고 걱정의 말을 해오기도 했다. 크리스토프 보시에카우스키 교수와 상의를 했다. 미국에서 교수직을 찾기 힘들 것 같아, 유럽으로 가기로 했다. 두 군데에 지원했고, 모두 오라고 했다. 

◆ 유럽에서 경력을 쌓다
먼저 이탈리아의 아드리아해 도시 트리에스테로 갔다. 트리에스테는 베네치아 옆에 있는 유서 깊은 항구 도시다. 오스트리아가 과거 이곳에 해군 기지를 갖고 있었다. 아일랜드 작가 제임스 조이스가 '더블린 사람들'을 쓴 도시라고 박 교수는 말했다. 이곳에 국제이론물리학센터(ICTP)가 있었고, 그는 ICTP의 수학 그룹에 들어가 연구를 했다. 트리에스테에서 6개월 있었고, 이후 독일 본에 있는 막스플랑크 수학연구소로 갔다. 막스플랑크 연구소 이후에는 본 대학에서 연구원으로 일했다. 본 대학교 수학과의 베르너 뮐러(Werner Muller) 교수 연구팀으로 들어갔다. 뮐러 교수는 1949년생이고, 박 교수보다 19살이 많았다.  독일 본에서 2005년 여름까지 3년 반을 살았다. 

베르너 뮐러 교수는 '대역해석학' 커뮤니티의 양대 리더 중 한 사람이었다. 박진성 교수가 일본 큐슈대학교의 마사토 와카야마 교수로부터 논문을 소개받아 읽었던 베르너 호프만 교수가 바로 베르너 뮐러 교수의 제자였다. ‘대역해석학’ 커뮤니티의 양대 축의 다른 한 사람은 미국 MIT의 리처드 멜로즈(Richard Melrose) 교수였다. 박진성 교수는 미국 인디애나 대학교 시절 멜로즈 교수의 제자인 폴 로야(Paul Loya. 뉴욕주립대학교 빙햄턴 캠퍼스) 교수와 알게 되었다. 박 교수는 보시에카우스키 교수가 다리를 놔줘서 수학 커뮤니티를 접하게 되었다. 그전까지는 완전히 고립되어 있는 수학자였으나, 이때부터는 수학 학회에 가서 동료 연구자들을 만났고, 그들과 자신의 학문 관심사를 얘기했다. 폴 로야 교수가 그 중의 한 명이었고, 그와 연구를 같이 한 주제가 있었다. 박 교수가 미국을 떠나 독일 본으로 간 뒤에는, 뉴욕주 빙햄튼에 있는 로야 교수와 이메일을 주고 받으며 연구를 계속했다. 그런데 연구에 진전이 없었다. 문제를 풀기 위해서는 어떤 문을 열고 들어가야 했고, 그러려면 열쇠를 만들어야 했다. 여러 가지 열쇠를 만들어 봤으나 모두 들어맞지 않았다. 이메일로는 한계가 있다 싶어 2004년 봄 독일 포츠담에서 열리는 ‘대역해석학’ 학회에서 만나기로 했다. 

"대역해석학 학회는 포츠담대학교 수학과의 볼프강 슐츠 교수가 조직했다. 포츠담궁의 여러 부속 건물 중 옛 왕실 마굿간을 수학과가 쓰고 있다고 농담으로 말하는 걸 들은 기억이 있다. 그곳에서 로야를 만나 연구에 대해 깊은 얘기를 했다. 그럼에도 진전이 없었다. 학회 1주일 일정 중 마지막 이틀은 아예 강연에 불참했다. 나와 로야는 학회장의 다른 방에서 칠판을 앞에 두고 공동 연구 문제에 대해서만 토의하였다. 끝내 학회 기간 중 원하던 열쇠를 만들어내는 데 실패했다. 그 친구와 베를린까지 기차를 타고 가서, 거기에서 헤어졌다. 로야는 공항으로 가고, 나는 베를린역에서 본으로 가는 ICE를 타기위해 열차 승강장에서 기다리고 있었다. 그런데, 그때 열쇠를 만드는 아이디어가 떠올랐다. 베를린에서 본까지는 ICE로 4시간 반이 걸린다. ICE를 타고 가면서 종이를 꺼내 계산을 하면서 내 아이디어를 확인해 봤는데, 새로운 아이디어가 다 맞아 들어가는 것을 알 수 있었다. 그 친구와 헤어질 때는 낙심한 상태였는데, 본에 도착했을 때는 기분이 날아갈 것 같았다. 마침 아내와 딸이 역에 마중 나와 있었다.”

아이디어를 떠올린다는 것은 무엇인가? 두 사람이 온갖 경우의 수를 포츠담에서 짚어봤을 것 같은데. 박 교수는 이렇게 설명했다.

"깜깜한 방에 들어갔다. 불을 켜는 스위치가 어디에 분명히 있다. 벽을 아무리 더듬어 봐도 스위치가 아닌 것이다. 이러 저리 다 눌러봤는데 아니다. 낙담했다. 그런데 생각을 해보니, 내가 의도적으로 안 눌러본 곳이 있었다. 거기는 분명히 아닐 거라고 생각하고 눌러보지 않았다. 갑자기 거길 눌러봐야한다는 생각이 났다. 안 누른 이유는 거길 누르면 무슨 어려운 점이 있는데, 그 난점이 두려워서 내가 안 눌러보고 있었던 것이다. 로야와 수많은 시행착오를 거치면서 깨달은 것이 있었다. 처음에 안 눌렀을 때는 그게 난점인 줄 알았는데, 우리는 이미 그 난점을 해결할 수 있는 아이디어를 갖고 있었다. 그래서 안 눌러본 것을 눌러보고 싶은 생각이 들었던 것이다."

MIT 멜로즈 교수 그룹과 공동 연구를 많이 했다. 로야 교수 외에도, 멜로즈의 제자인 서지우 모로이아누(Sergiu Moroianu) 교수가 있다. 모로이아누는 루마니아 수학 아카데미 연구소의 수학자이다. 국제 수학올림피아드에서 금메달을 딴 수재이다. 계산 능력이 엄청났다. 박 교수도 계산을 잘한다고 자부했으나, 모로이아누는 더욱 빠르고 정확했다. 그런데 얘기를 해보니 그도 모르는 것이 있었다. 서로 보완할 수 있다고 생각하니, 친구가 되었다. 박진성 교수, 로야, 모로이아누 세 사람이 공동 연구를 하였고, 때로는 프랑스 에콜노르말의 콜린 기아무 (Colin Guillarmou) 교수와도 공동 연구를 하였다. 

◆ "수학에도 이념이 있다"
2005년 고등과학원 수학부 교수가 되어 한국에 돌아왔다. 미국에서 1년, 이탈리아에서 반년, 독일 본에서 3년 반을 보내고 5년만이었다. 사람들은 박 교수를 보고 "강심장"이라고 했다. 직장을 잡지 못했음에도 조바심내지 않고 유럽을 전전하고 있었으니, 하는 말이었다. 박 교수는 "남들에게 그렇게 보일지 몰라도 스트레스가 많은 때였다"라고 말했다. 2005년에서 2010년까지 멜로즈 그룹과 연구를 많이 했다. 그런데 멜로즈 학파와의 연구가 싫증났다. 논문을 많이 쓸 수 있었으나, 한 연구 주제를 오래한다는 것이 흥미롭지 않았다. 박 교수는 "나는 한 아이디어로 논문을 계속 쓰는 것을 좋아하지 않는다. 그래서 새로운 연구 주제를 찾았다. 그리고, 그건 러시아 수학의 한 분야였다"라고 말했다. 

수학에 러시아 수학이 있고, 일본 수학이 따로 있나? 박 교수는 "수학에도 이념이라는 게 있다"라며 다음과 같이 말했다. "수학자 개인은 자신의 취향에 따라 특정 수학 문제에 관심을 갖지만 수학자 집단이 커지면 좀 달라진다. 집단이나, 한 국가에 속한 수학자들은 수학이라는 것은 어떻게 해야 하고, 어떤 수학 문제가 의미 있고 중요한가에 대한 독특하고 나름대로의 견해가 있는 것이다. 세계적으로 수학을 주도하는 집단이 있고, 주도하는 사람들 나름대로는 약간 씩 다른 수학적 이념을 갖고 있다.”

박 교수가 보기에, 러시아 수학자는 나름대로의 수학적 이념이 있다. 러시아 수학자와 얘기해보면 그들이 가치 있다고 생각하는, 즉 좋은 수학이라는 것이 따로 있다. 러시아 수학계는 이론물리학의 영향이 강해서, 러시아 수학자들이 다루는 수학 대상은 물리학과 관련성이 높고,그래서 수학의 대상이 매우 구체적이다. 

일본의 경우에는 정수론이 굉장히 강하다. 그렇기에 정수론을 전공하지 않은 일본 수학자도 정수론에 대해 많이 안다. 자신이 하는 연구가 정수론과는 전혀 다른 분야이나, 정수론의 관점에서 자기 문제를 이해하고 구성해서, 문제를 해결하기도 한다. 박 교수 분야, 즉 대역해석학 분야에서 일본의 유명한 수학자 도시카츠 수나다 (砂田 利一, Toshikazu Sunada, 메이지대학교) 교수가 있다. 수나다 교수의 ‘라플라스 연산자의 스펙트럴 정보로 미분 다양체를 얼마나 구별할 수 있는가?’에 대한 유명한 논문이 있다. 이 논문의 기본 아이디어는 정수론의 아이디어이다. 불변량 연구에 정수론이 왜 의미가 있는가를 잘 보여준다. 박 교수 설명을 다시 옮겨본다.

“2차 미분연산자의 한 종류인 라플라스 연산자의 고유값을 생각해 보자. 고유값들이 만들어진 상황을 이해하면 고유값들이 미분다양체의 정보를 갖고 있다는 것을 알 수 있다. 고유값 집합이 같으면, 그걸 정의한 미분다양체가 같은 것인가 하는 질문을 생각할 수 있다. 이걸 쉽게 설명하자면 ‘북소리를 듣고 북 모양을 알 수 있는가’ 하는 질문이다. 이때 북소리가 고유값에 해당하고, 북 모양이 미분다양체에 해당한다. 따라서 이 질문은 스펙트럴 정보로부터 정의된 스펙트럴 불변량들이, 원래 주어진 미분다양체가 서로 같은지 다른지를 구별할 수 있는가 하는 질문이다. 

특정 불변량이 얼마나 좋으냐 나쁘냐에 따라 그걸 구분하기도 하고 못하기도 한다. 불변량 연구가 그래서 의미가 있다. 그런데 이러한 질문에 대한 수나다 교수의 논문을 읽어보면, 논문의 아이디어가 정수론의 아이디어라는 것을 알 수 있다. 이 논문을 통해 일본 수학의 특징을 알 수 있는 것이다. 

내가 고등과학원에서 일하면서 2010년 경에 새롭게 러시아 수학을 접하게 됐다. 러시아 수학자가 쓰고, 러시아 수학의 이념으로 쓰여진 어떤 논문을 알게 됐다. 그리고 그 밑바탕에 있는 수학이 뭔지 궁금해졌다. 그래서, 그 연구 분야로 들어가게 됐다.“

◆ 러시아 수학
그를 러시아 수학으로 이끈 논문 저자는 미국 뉴욕주립대학교 스토리브룩캠퍼스 수학과의 레온 타크타잔(Leon Takhtajan) 교수다. 타크타잔 교수는 아르메니아 출신 (1950년생)으로 러시아 상트페테르부르크대학교에서 유명한 수리물리학자인 루드비크 파데에프(Ludwig Faddeev) 교수로부터 박사 학위를 1975년에 받았다. 타크타잔 교수는 상트페테르부르크에 있었으나, 소련의 붕괴 이후 미국으로 갔다. 

박 교수가 새롭게 시작한 러시아 수학을 구체적으로 표현하면 어떤 걸까? 그는 "수리물리라고 보면 된다"라면서 "물론 수리물리는 매우 다양하다"라고 설명했다. 타크타잔 교수가 한 일은 '리우빌 등각장론'에 관련한 연구이다. 물리학자는 리우빌 등각장론을 이미 오랫 동안 물리적으로 의미 있게 연구해 왔다. 하지만 물리적으로 구성된 이론은 수학적으로는 엄밀성이 많이 부족하다. 미국 프린스턴대학교에 있던 러시아 물리학자 알렉산드르 폴리아코프(Alexander Polyakov, 1945년생)는 리우빌 등각장론에서 물리학적 추론에 의해서 어떤 예상(후에 폴리야코프 추측이라고 불려짐)을 했다. 타크카잔 교수는 리우빌 등각장론의 수학적 기초를 놓고, 이를 이용하여 폴리야코프 추측이 옳다는 것을 수학적으로 증명하였다. 1980년대 중반에 했던 그의 작업이 나중에 생각하지 못했던 방향으로 확장됐다. 박 교수 설명을 다시 옮겨본다. 말을 정확히 알아듣지 못해도 된다. 경청해 본다.

"차원이 높은 물리적 세계와, 그것보다 차원이 하나 작은 물리적 세계가 있다고 하자. 어떤 물리적 조건에서는 둘 사이에는 어떤 대응 관계가 있다. 물리적으로는 4차원과 3차원 간의 대응 관계에 관심이 있다. 수학적으로는 3차원과 2차원의 경우에도 의미가 있지만, 이 경우에도 수학적으로는 자명(trivial)하지 않다. 그걸 수학적으로 엄밀하게 하는 게 수학자의 일이다. 어떤 조건의 4차원 세계를 수학적으로 바꾸면 4차원 아인슈타인 다양체가 된다. 4차원 아인슈타인 다양체에 경계가 있을 경우의 이론과, 그것의 경계가 되는 3차원 다양체 이론이 대응관계가 있다는 것이 물리적으로는 알려져 있다. 이와 비슷하게 3차원과 2차원인 경우를 생각할 수 있고, 이를 수학적으로도 구성할 수 있다. 이 경우에는 2, 3 차원의 알려진 여러 수학 이론을 이용할 수 있다는 장점이 있다. 3차원 아인슈타인 다양체이고 경계가 있으면, 대부분의 경우에 쌍곡 다양체가 된다. 3차원 쌍곡 다양체와 그 것의 경계가 되는 2차원 리만 곡면 사이에 대응관계에 많은 수학자가 관심을 갖고 있었다. 결국 1980년대 중반에 타크타잔이 만들어낸 리우빌 등각장론이 이 경우의 2차원 이론이 된다. 그렇게 되면 2차원 리만 곡면의 카운터파트가 되는 3차원 이론이 있어야 한다. 리우빌 등각장론에서는 리만 곡면의 불변량에 해당하는 것이 Liouville action이다. 그것에 대응하는 것이 3차원에서는 무엇인가가 궁금해진다. 물리학자들은 3차원 쌍곡다양체의 부피가 그것일 것이다라고 추측했다. 그러나 이런 경우에 쌍곡다양체의 부피는 항상 무한이다. 그럼에도 거기에 남아 있는 본질적인 의미가 무엇인가를 생각할 수가 있으며, 이를 수학적으로 정의할 수 있다. 이게 '정규화된 부피'(renormalized volume)이다."

정규화된 부피를 정의하는 게 수학자들의 일이고, 이 문제는 1990년대 후반에 제기됐다. 2000년대 초반에 여러 수학자들이 이와 관련하여 성과를 냈다. 그리고 타크타잔과, 그의 학생이었던 리펭 테오(Lee-Peng Teo, 말레이시아 수학자)가 2006년에 3차원 쌍곡 다양체의 정규화된 부피와 Liouville action이 같음을 증명했다. 

그리고 2010년대 초반에 박진성 교수가 이 문제에 관심을 갖게 되었다. 타크타잔, 그리고 그의 학생이었던 사람들과 공동 연구를 하기 시작했다. 타크타잔 그룹에서 박 교수가 가장 먼저 공동 연구를 한 사람은 앤드류 매킨타이어(당시 몬트리얼 대학교 교수)이다. 매킨타이어와 연구를 위해 박 교수는 몬트리얼을 방문하기도 했다. 이어 타크타잔 교수와,  테오 교수를 소개받았고, 이들과 같이 논문을 여러 편 썼다. 특히 테오 교수와의 공동 작업으로 정규화된 부피와 Liouville action의 관계식을 3차원 쌍곡 다양체에 특이점이 있을 경우에도 증명하였고, 이 논문은 2018년  최상위 수리물리 학술지(Communications in Mathematical Physics)에 출판되었다. 2차원 리만 곡면의 루이빌 등각장론에서의 물리적 추측에 의해서 여러 불변량 사이에 관계식이 존재한다는 것이 알려져 있었고, 이에 대한 수학적 논문이 매킨타이어-타크타잔 교수에 의해 2006년 증명되었었다. 2019년 박 교수는 이에 대응하는 3차원 불변량 사이에도 관계식이 존재함을 증명하였고, 기하 분야의 학술지인 '기하학과 위상수학'(Geometry and Topology)에 발표했다. 

 박진성 교수는 요즘 또 다른 연구 주제에 관심이 있다고 했다. 이 주제를 들었다가는 이날 박 교수로부터 너무 많은 수학적 내용을 들어 소화해낼 수 없을 것 같았다. 그래서 박 교수에게 그렇다고 말하고, 마지막으로 한 가지 질문을 하고 싶다고 했다. 스펙트럴 불변량이 무엇인지를 다시 정리해달라고 부탁했다. 설명을 다시 들었고 인터뷰를 마쳤다. 2시간 반이 훌쩍 지나 있었다. 박진성 교수의 얘기를 잘 들었다. 돌아와 정리를 했다. 이 글을 그의 경복고 친구들이 혹시 읽는다면, 고등과학원에 있는 수학자 친구가 뭘 연구하는지를 이해하게 될까 하는 생각을 했다.