Super Resolution

존경해 마지않는 직장동료, 밥

Super Resolution(SR)은 저화질 이미지나 비디오를 고화질로 만들어주는 기술이다. 예전에는 *보간법 정도가 최선이었지만, 요즘 AI가 발전하면서 좋은 SR 모델들이 쏟아져 나오고 있다.

우리 팀도 SR 모델을 이용해 비디오 품질을 개선시키는 데 노력해 왔다. 내가 7년 전 팀에 처음 조인했을 때만 해도 팀원들이 직접 이런 모델을 개발하는 일이 잦았다. 이제 그런 일은 잘 없다. 이미 만들어진 모델들을 가져다 쓴다. 이름난 학회지에 게재된 논문 중 *소스 코드를 공개해 놓은 모델들이 주요 대상이다.

논문에서 대단한 모델인 양 선전하는 것들을 막상 가져다가 써보면 별로인 경우가 많다. *학습모델들의 한계다. 학습모델들은 자신이 배운 적 없는 시나리오의 데이터를 들이밀면 삑사리를 낸다. 그렇다고 가망이 없는 것은 아니다. 당장 결과가 안 나온 모델이라도 우리가 원하는 시나리오에 가지고 와 다시 학습을 시키면 쓸만해지는 경우가 많다.

쓸만한 모델을 쉽게(?) 얻는 또 하나의 방법은 유명 학회지에 챌린지 공고를 내는 것이다.

"여기 신박한 데이터가 있습니다. 이걸 가져다가 여러분의 학습모델을 만들어서 내보세요. 1, 2, 3등을 차지한 팀에게는 소정의 상금과 학회지에 논문을 싣는 영광을 드립니다."

이렇게 하면 졸업을 해야 하는 지구상의 많은 박사생들과, 분야에 관심을 갖고 계신 교수님들과, 관련 IT 회사의 리서치 팀들이 모여든다. 그들은 우리가 제공한 데이터에 최적화된 모델을 만들어 준다. 누이 좋고 매부 좋고.

다른 면에서 이런 챌린지 공고는 우리 회사가 어떤 일을 하고 있는지를 까발리는 일이다. 내 스킵매니저가 처음 이 아이디어를 냈을 때, 회사 내 다른 리더십들은 내 스킵매니저를 미친 사람 취급했다. 그러나 지난 몇 년의 경험을 통해 그들은 이것이 싸고 빠르고 효과적인 방법이라는 것을 알았다. 데이터 사이언티스트들을 투입해 한두 분기 모델 개발을 시키는 것에 비해 말이다.

고속 승진으로 지난해 *Principal이 된, 내가 존경해 마지않는 직장동료가 있다. 밥이다. 그는 우리 팀 맞춤 SR 모델을 얻기 위한 ICME 2025 Grand challenge를 맡아 처음부터 끝까지를 홀로 주관했다. 지난 주말 challenge를 마감, 정리하는 논문을 작성해 ICME에 최종 제출했다. 월요일 아침 완성본을 읽어봤다. 그 논문 한 줄 한 줄에 얼마만큼의 일이 수반되었는 줄을 난 누구보다 잘 알기에, 밥이 정말 멋지다고 생각했다. 물론 팀으로 같이 한 일이다. 그러나 최종 책임자와 부분 기여자가 감당하는 부담과 일의 양은 비교할 바가 아니다.

"와 씨 밥 좀 멋있다. 나도 죽기 전에 한 번쯤은 멋있어봐야 할 텐데"

그러자 남편이,

"자기도 다 할 수 있다! 애들이 더 크고 지금보다 시간이 더 많아지면. 자기도 밥처럼 컴퓨터 앞에 늘어 붙어 앉아 불룩 튀어나온 배를 어루만지면서 시간을 쏟아부어. 그럼 그까이 꺼. 자기도 다 할 수 있다!"

그럴래나. 나도 없는 나에 대한 믿음이 당신에겐 참 있어.

*보간법 Interpolation

*소스 코드 Source code

*학습모델 Learning model

*Microsoft에서는 Partner부터가 임원. Principal은 임원이 되기 바로 전 단계.