LLM based 수학 연구 시도

다음 주에 OpenEvolve라는 LLM 툴을 베이스로 수학문제 또는 과학문제를 푸는 워크숍에 참여할 기회가 생겼다. 결과적으로는 알려진 결과를 더 발전시키는 데는 실패했다. 그럼에도 의의는 있었기에 나름 공유해보려고 한다.

Log-Sobolev inequality라는 부등식은 여러 상황에서 나오는 부등식으로, 원래 엔트로피 이론에서 시작되어, Gross가 1975년에 엔트로피를 디레클레 에너지로 컨트롤하는 걸 증명했다. 이 부등식은 다양한 맥락에서 나오는데, 내가 아는 사례 중에선 고차원 확률론, 특히 머신러닝이론에서도 사용되는 걸로 안다.

편미분방정식 이론을 하는 입장에서는 최근에 쿨롱인력을 허용하는 플라스마를 기술하는 방정식인 란다우 방정식에서, 만약에 공간변수에 의존하지 않는 상황을 고려할 경우, 란다우 방정식의 대역적으로 매끄러운 유일한 해가 존재한다는 걸 최근에 Guillen과 Silvestre 교수가 증명했다.

Silvestre 교수는 처음에 힘으로 계산을 막 밀어붙여서 이 결과를 증명했고, 그 결과를 보다 우아하게 증명하는 방법을 찾았다고 들었다. Fisher information이라는 정보를 이용해서 일종의 단조성을 증명하여 해가 폭발하는 걸 막아버리는데, 그 과정에서 Bakry-Emery Gamma_2 판정법을 연구해야 했다. 보통 알려진 부등식과 달리 그들은 해에 더 제한적인 조건을 부여했을 때 해당 판정법의 상수를 개선시켰고, 그 결과가 Landau 방정식의 해는 매끄럽다는 걸 증명했다.

후속연구로 지세현 박사가 이 상수에 대해 더 개선된 추정을 한 바가 있었다. 이 부분에 대해서 Remark에 다른 여지들을 남겨놓은 게 있어서 그 부분에 대해 한번 알아보고자 LLM based Math을 해보았다.

처음에는 OpenEvolve 환경을 만들었다. OpenEvolve는 Google의 AlphaEvolve을 오픈소스로 재현해 낸 라이브러리다. LLM에 프롬프트를 부여해서 처음에 부여한 파이썬 소스에서 세대를 거듭하며 평가함수의 결괏값을 비교하며 한 세대의 최선의 결과를 계속 파이썬 소스에 남겨둔다. 그리고 그 세대를 반복해서 최선의 결과를 얻어나가는 알고리즘이다.

처음에는 내가 원하는 결과는 안 나오고 평가점수를 만족하기 위해 지금까지 알려진 바운드에서 조금만 숫자를 바꾸는 편법을 구사했었다. 프롬프트로 제한을 걸어도 값은 큰 변화가 없었다.

이상해서 문제를 다시 들여다보니 OpenEvolve를 할 이유조차 없던 문제였다. 어떤 조건을 만족하기 위해선 구면조화함수(spherical harmonic)이어야 하고, 그 구면다항함수(spherical harmonic polynomial)가 특정한 조건을 만족해야 했다. 그런데 그 조건을 조합해 보면 변할 수 있는 자유도가 2개의 실수밖에 없었고, 그 조건을 만족하는 구면다항함수들의 공간의 차원은 3차원이었다.

아침 7시부터 밤 8시까지 네이티브 LLM(Ollama를 썼다)도 설치해 가며 어떻게든 좋은 결과를 얻어보려고 시도는 해봤다. 사람이 시도하지도 못할 숫자들을 테스트할 수 있는 희망이 있지 않을까 기대를 했었다. 왜냐하면 사람이라면 선택하지 않을 법한 숫자들과 비대칭을 통해 예상치 못한 대칭이 있을지도 모르니까. 그러나 실험결과는 그런 기대는 존재하지 않고 사람이 기존에 얻었던 게 최선이었다는 결과만 얻었다.

내가 만져본 문제는 정말 사소한 문제지만, 이번을 통해 여러 가지 얻은 게 있었다. 첫 번째로, OpenEvolve를 사용해서 AlphaEvolve의 원리를 조금이나마 이해했다는 것. 두 번째로, 옛날에 파이썬 공부했던 것 덕분에 코드 디버깅에 대한 부담감이 없어졌다는 것. 마지막으로 파이썬 코드를 처음부터 짤 필요 없이 Claude Code가 작성해 줬다는 것. 그리고 문제에 대해서 깊이 생각하고 처음부터 이 문제가 LLM으로 적합한 건지, 기존의 수치해석으로 충분한 건지 깊은 숙고가 필요하다는 것.

적어도 어떤 유계값을 잡아내고자 할 때 이 도구들이 꽤나 강력할 수 있다는 걸 경험으로 깨달았으니, 비슷한 문제를 만나면 여기까지 이제 밀어붙일 수 있겠다는 자신감이 생겼다.