2017년 7월에 K 교수로부터 문제를 받았다. 매우 거친 영역에서 정의된 매우 기초적인 방정식(푸아송 방정식)에 유계하지 않은 선형항을 추가할 때 최적가해성을 얻을 수 있냐는 질문이었다. 푸아송 방정식의 경우에는 1995년에 MIT 교수 Jerison과 Chicago의 대학의 Kenig이 그 문제를 해결해 냈고, 많은 사람들이 지금까지도 이런 문제를 다룰 때 인용하는 영향력이 있는 논문이다.
유계하지 않는 대류항은 물이 흐르는 유체를 다루는 방정식에서 자연스럽게 나오는 항이다. 유체의 흐름을 기술하는 방정식인 나비에-스톡스 방정식은 대류항(convection term)을 가지고 있으며 이는 대표적인 비선형항이라 연구하기가 쉽지 않다. 반면 대류계수를 유체의 속도장으로 주지 않고, 주어진 계수로 선형 방정식을 생각할 수 있다. 선형방정식에 대한 깊은 이해를 완성하면, 비선형방정식을 선형방정식의 섭동(perturbation)으로 접근하는 것은 간단한 아이디어지만, 꽤나 많은 문제에 광범위하게 적용할 수 있는 관점이다.
특히 유체에서 유래된 많은 문제는 속도장의 비압축성을 가정하지만, 내가 다뤄야 하는 문제는 대류항의 계수가 비압축성 조건이 없을 때조차도 방정식의 문제를 풀 수 있어야 했다. 선형방정식은 꽤나 많은 사람들이 연구했을 거라 생각했지만, 의외로 특이대류항이 있는 문제는 1980년대 초에 잠시, 그리고 2002년에 잠시, 그리고 2015년에 조금 연구되고 근 2022년 즈음에나 사람들이 관심을 가졌다.
말하고자 하는 것은 유계하지 않은 대류항을 하나 추가한 연구가 많은 사람들이 크게 관심을 가진 문제는 아니라는 점이다. 기존 편미분방정식에서 빠져있는 연구주제를 메꾸는 문제이지만, 유체와 관련된 비선형문제를 이해하기 위한 선행연구로서 의의는 있다고 생각했다.
그 연구를 하기 위해서, 나는 Jerison과 Kenig이 쓴 논문부터 샅샅이 이해해야 했다. 그 논문은 내가 K 선생님과 같이 세미나를 한 계기가 된, 그 Stein의 도메인 확장정리를 기본지식으로 하고 있는 논문이었다. 2년간 돌고 돌아, 이 주제로 돌아왔구나 싶어서 K 선생님과 나는 매우 신기했었다. Jerison과 Kenig의 논문을 이해하는 건 당시의 나에겐 정말 쉽지 않았다. 당대의 최정점 기술들이 사용된 논문이었는데, 교과서도 없어서 그 빈틈을 채우는 건 온전히 나의 몫이었다. 우리가 공부하고자 하는 문제에서는 그 사람들이 사용한 함수공간을 이해하는 게 필요했기에, 공부를 해야했다.
한 6개월간 꾸역꾸역 읽고, 어느 정도 이해를 하고 넘어가서 같이 풀려고 하는 문제로 돌아왔다. 그러기 위해서는 어떤 상황에서 문제를 논할 수 있는지, 그 조건부터 찾아야 했다. 자연스러운 조건을 찾고, 그 조건하에서 풀 수 있다는 걸 보이는 게 목표였다. 어떻게 하다 보니 조건을 하나씩 찾았는데, 그 조건들이 직관적이진 않았다. 대수적으로 그 조건을 체크하는 게 쉽지 않았다. 이전에 K 교수가 연구한 문제에서는 한 변수만 조정하면 되었는데, 나는 두 변수나 동시에 조정해야 했기 때문에 대수적으로 매번 그 조건을 체크하는 건 쉽지 않았다. 그런데 그 부등식의 조건들을 좌표계에 올려보니 그 조건들이 매우 직관적인 그림으로 바뀌었다.
조건을 찾아낸 걸 들고가니 K 교수는, "이제 이 조건이 과거의 내가 찾은 조건을 포함하는군. 그다음엔 어떻게 해야 하지?"라고 물었다. 나는 이전에 K 교수나 공동저자들이 했던 방법들은 해보려고 했지만, 적절한 함수를 곱해서 부분적분해서 할 수 있는 문제도 아니었다. 내가 다뤄야 하는 문제는 기존에 K 교수가 연구한 문제랑 달리 '분수번 미분을 허용하는 문제'였기 때문에 그런 방법이 먹히지가 않았다. Jerison과 Kenig처럼 적절한 함수들을 모아놓은 다음 그 공간을 연구하는 방법도 생각해 봤지만, 그 방법은 경계에서 어떤 종류의 결과들을 또 얻어내야 했기에 쉬운 문제가 아니었다. 이렇게 이야기하니 K 선생님은 이해하지 못할 말을 했었다.
"아주 좋은 소식이군. 잘 안 된다는 건 좋은 일이야"
당연히 쉽게 풀리면 논문 감이 안되니, 어려움의 본질을 잡아내고 그걸 뚫어내야 한다는 말이었다. 매주 만났지만, 어떻게 풀어야 할지 감은 오지 않았고, 헛된시간만 보내면서 답을 못 찾는 기간이 계속되었다. 내 문제에는 집중이 안 되니 다른 사람들이 발표를 들으면서, 이런 결과 재밌다고 말하면서 세미나 시간을 채워봤었다. 결과를 못 가져간 것에 대한 아쉬움과 더불어 남의 결과들이 더 멋져 보였기 때문이다.
"남의 결과에 대해서 계속 관심을 갖는 것도 좋은데, 너의 결과를 흥미롭게 만들어봐"
라고 K 교수가 말했었다. 참 말은 쉬운데 증명하지 못하겠고 답답하기만 했다. 그러다가 다른 논문을 찾아보니 어떤 함수해석학 정리를 사용하면 풀릴지도 모른다는 생각이 들었다. 그걸 보여드렸으나, K 교수는 구체적인 증명이 더 좋다고 다른 방법으로 그걸 보일 수 있을지를 생각해 보자고 했다.
"만약에 원래 문제에서 이런 조건을 만족하면 푸아송 문제의 유일가해성 때문에 이런 결과가 성립한다. 이걸 어떻게 사용할 수 있을까?"
토론하다가 K 교수가 던진 하나의 전략이었다. 우선 방법은 하나 찾았으니, 그 날 세미나 마치고 이걸 어떻게 쓸 수 있을지 고민을 했었지만 별 다른 소득 없이 또 지하철을 타고 돌아가던 중이었다. 한 지하철을 타고 30분을 지나간 시점이었나, 머릿속에서 번뜩 그 조건을 적당히 버무려서 풀 방법이 떠올랐다. 내가 앞에서 찾은 영역, 그리고 푸아송 문제에서의 영역을 합쳤을 때의 그 영역이 K 교수가 찾아낸 조건을 사용하면, 그 영역의 모든 점을 적당하게 원하는 영역으로 보낼 수 있는 방법을 거꾸로 따라갈 수 있겠다는 생각이 들었다. 대수적인 방법으로는 전혀 알 수 없었던, 앞에서 내가 찾았던 기하적인 관점을 결합하면 풀 수 있어 보였다. 그래서 공책을 갑자기 펼치고, 전동차 문을 받침대를 삼아 문제를 풀고, 집에서 공책으로 몇 번의 검산 후에 이게 가능하겠다는 생각이 들었다.
바로 다음날 K 교수 연구실 문을 두들겼다. "선생 그거 풀었어요"라고 말했더니, 바로 칠판으로 가자고 했다. 그래서 그 문제 아이디어를 설명했더니, 그 논법의 맹점을 K 교수는 예리하게 발견했다. 어떤 케이스는 정말 깔끔하게 되지만, 걱정해야 하는 파트들이 있었다. 나는 그것들은 본디 문제될 게 아니라고 생각했고, 이틀정도 생각한 후에 그 오류를 해결해서 들고 갔다. K 교수는 내가 한 말이 아이디어는 이해가 가지만, 글로 쓰는 건 정말 어려운 문제라고, 누구나 읽어도 이해할 수 있게 만들어야 한다고 강조했다. 결국 한 달의 지난한 수정 끝에, 그 논법의 핵심 아이디어를 간파했고, 그걸 논문에 깔끔하게 써내려 나갔다.
그러나 그 논문은 2018년에 투고하고 한동안 소식을 못 받았고, 그 주제로 발표를 하고 다녔을 때 "이걸 도대체 어디에 투고할 수 있을까?"라는 질문도 받았었다. 다른 사람들의 연구주제에 비해서 뭔가 소박하다는 생각도 들었고, 그때 유행하던 문제에 비해 한참 기술적으로 뭔가 화려한 건 없었기 때문에 위축되었던 기억이 난다. 처음에 노린 저널에서 일주일 만에 게재거절당하고, 생각지도 못한 저널에 투고했는데도 2년간 어떤 심사결과도 받지 못해서 마음의 상처를 받았던 상황이었다. K 교수는 어떻게든 심사보고서라도 받아야겠다고 좋은 저널에 투고했다. 일년의 기다림과 수정 끝에 2022년에 그 논문은 빛을 볼 수 있었다. 그간 이 논문 때문에 마음고생이 많았지만, 우리 논문을 평가해 준 사람이 한 말은 아직도 머릿속에 기억이 남는다.
"이 논문은 다른 사람에게 영감을 많이 준 Jerison-Kenig의 논문을 근간으로 하고 있고, 이 논문은 매우 잘 썼고, (나는 사실 이 논문을 읽으면서 매우 재밌었다!) 증명도 다 맞다. 이 논문은 Jerison-Kenig의 논문에 근간을 하지만 매우 비자명하고, 콤팩트 논법을 기발하게 설계된 콤팩트 논법을 사용해서 증명했다. 이 결과를 확장하는 건 매우 큰 기여였고, 매우 많은 학자들에게 관심이 있을 것이다."
3년간 이 논문 때문에 마음 졸였던 걸 보상받는 따뜻한 말이었다. 발표를 할 때마다 자신감이 떨어졌지만, 이 논문의 가치는 누군가 알아줬다는 게 너무 고마웠다. 그리고 그 3년은 또 다른 의미에서 내가 수학을 어떻게 바라볼지 생각할 수 있는 좋은 기회이기도 했었다.