14. 린 콘웨이 - 실리콘에 지능을 새기다.

설계자들의 세계

2020년 11월 10일, 실리콘 밸리 쿠퍼티노의 애플 파크. 스티브 잡스와 같은 카리스마는 없지만, 자신들의 강점을 잘 관리하며 원만하게 애플을 이끌던 CEO 팀 쿡(Tim Cook)이 무대에 올랐다. 애플이 매년 주관하는 “One More Thing” 이벤트가 이제 막 시작되는 순간이었다. 하지만, 오늘의 주인공은 그가 아니었다. Johny Srouji. 레바논 출신으로 이스라엘에서 자란 후 인텔에서 15년 동안 경력을 쌓은 후 애플에 입사한 노련한 엔지니어 겸 부사장. 침착하고 냉정한 성격으로 하드웨어 부문을 이끌던 그가 조용히 말했다. “오늘, 우리는 Mac의 역사에서 가장 중요한 전환을 발표합니다.” 그의 뒷편에 있는 화면이 밝아지더니, 하나의 칩이 등장했다. M1 칩. 5nm 공정이 적용되었고 160억 개의 트랜지스터가 집적되었다는 설명이 붙었다. 사람들은 환호했지만, 왜 이 칩을 홍보하는지 잘 몰랐다. 그러나, 시간이 지나면서 산업계가 이 칩의 의미를 이해했다. 애플이 인텔과 헤어지고, 자신들만의 칩을 만들어 가겠다는 선언으로 받아들여졌기 때문이었다. 물론, 설계만 자신들이 하고, 생산은 TSMC와 삼성전자에게 위탁하는 방식이었다.

3주 후 M1 칩을 탑재한 최초의 MacBook Air가 출시되었다. 산업계와 열혈 소비자들은 각자의 리뷰를 유튜브 등에 올리기 바빴다. 냉각 팬이 없음에도 기존보다 더 빠르다는 반응과 10시간 이상 지속되는 배터리 성능에 대한 찬사가 주를 이루었다. 물론, 기대보다 못한 성능에 대한 질타도 없지 않았다. 그러나, 한 리뷰어의 말이 도드라졌다. “이것은 단순한 칩이 아니다. 이것은 반도체 엔지니어링의 걸작이다.”

강대원과 아탈라가 모스펫을 제안한 후, 잭 킬비와 로버트 노이스가 반도체 칩 평면 공정에 대한 아이디어를 발표하고, 리소그래피 공정을 중심으로 표준화가 착착 진행되던 1960년대 이후로 이 산업의 관심은 ‘어떻게 더 많은 트랜지스터를 작은 크기의 칩 속에 구현할 것인가’라는 점이었다. 무어의 법칙이 발표된 이후에 이런 고민은 더 깊어졌다. 경쟁에 앞서려면 더 정교해야만 했다. 대충해서는 어림도 없었다. 칩 설계부터 치밀해야만 했다. 그런데, 이렇게 복잡하고 정교한 칩들을 어떻게 설계할 수 있을까?

1960년대는 종이와 연필로 칩을 설계했다. 트랜지스터를 중심으로 전기적 연결선, 즉 회로도를 그리면서 전체 그림을 설계했다. 1000:1 또는 조금 더 정교한 스케일을 가정해 그림을 그렸다. 건축 설계사의 일과 비슷해 보이기도 했다. 이렇게 완성한 설계도는 그대로 리소그래피 공정을 위한 마스크 작업에 투영되는데 이 당시에는 Rubylith라는 필름 마스크가 개발되어 있었다. 실제보다 1000배는 크게 설계했기 때문에, 이를 마스크에 옮기려면 다시 1000배 축소하는 과정이 필요한데, 이 과정은 렌즈로 해결했다. 지금 돌아보면 귀여운 수준인 50개 트랜지스터가 직접된 칩 설계는 약 한 달 정도의 시간이 걸렸고, 500개 트랜지스터 칩은 4~5개월이 필요했다.

당대 최고의 천재들이 모인 인텔조차 손으로 그린 설계도에 따라 칩을 제작할 수밖에 없었다. 물론, 노하우가 쌓이면서, 트랜지스터 직접도는 꾸준하게, 그러나 매우 미미하게 상승했다. 조엘 카프(Jeol Karp)라는 천재 설계자가 수 개월동안 설계한 도면을 바탕으로 1969년 인텔은 1,000개의 트랜지스터가 직접된 메모리 칩, Intel 1103을 출시했다. 그리고, 이탈리아 출신의 페데리코 파긴(Federico Faggin)의 설계에 따라 2,300개의 트랜지스터가 직접된 최초의 마이크로프로세서 Intel 4004가 1971년 출시되었다. 이 정도의 작업을 위해 파긴과 3명의 엔지니어가 9개월동안 밤낮없이 일해야만 했을 정도로 이 당시의 칩 설계는 모두 수작업으로 이루어졌다. 기껏 설계해도 실제 칩을 만들어보면 제대로 작동하지 않는 경우가 많았는데, 다행히도 Intel 4004는 한 번에 작동했기에 시간을 많이 줄일 수 있었다.

그러나, 이런 상황이 계속될 수는 없었다. 칩 하나를 설계하기 위해 40페이지가 넘는 설계 규칙을 알아야 하는, 실리콘 밸리가 극도로 싫어하는 엄청난 비효율이 누적되고 있었다. 모두가 파긴과 같은 천재도 아니고, 그만큼 집요한 추진력을 가지고 있을 수도 없었다. 반도체 칩 설계 방식의 혁신이 절실히 필요했다. 이런 상황에서 새로운 영웅들이 나타났다.

1974년 인텔과 함께 혁신의 대명사였던 제록스 선행연구소 PARC의 린 콘웨이(Lynn Conway, 1938~2024))가 캘리포니아 공과대학(Caltech)을 방문했다. 이 대학의 카버 미드(Cover Mead, 1934~) 교수를 방문하기 위해서였다. 콘웨이는 반도체 칩 설계와 제조 사이에 있던 수십 페이지의 복잡한 규칙들을 표준화하고 모듈화하기를 원했다. 누군가는 반드시 해야하지만, 아무도 하지 못했던 프로젝트였다. 기업들의 자체 설계 노하우가 노출되는 것을 꺼려했기 때문이었다. 이 지점을 산업의 이단아 콘웨이가 나서서 시도한 것이었다. 이날의 방문은 무어의 법칙을 열렬하게 지지했던 미드 교수에게 공동 작업을 요청하기 위한 것이었다.

콘웨이는 이단아 혹은 혁신가로 타고난 사람 같았다. 그는 1938년 로버트 콘웨이라는 남자 아이로 태어났다. 과학자로서 매우 뛰어난 능력을 가지고 있어서, 대학 졸업 후 IBM에서 컴퓨터 프로젝트에 참여할만큼 승승장구했다. 그의 역량과 이력을 볼 때 앞으로 꽃길만 걸을 것 같았다. 얼마 후 그가 제안한 컴퓨터 언어 체계 덕분에 처리 속도가 한결 빨라지기도 했다. 동적 스케쥴링(DIS) 방식인 이 시스템은 이후 급속하게 발전하는 컴퓨터 프로세서의 기초가 되었다. 그러나, 1968년 ‘사랑과 자유’라는 문화운동이 캘리포니아를 휩쓸 때, 콘웨이는 여성으로 살기로 마음을 먹었다. 사실, 그는 어려서부터 자신의 성정체성에 대한 고민이 깊었는데, 사회 분위기가 바뀌면서 용기를 낼 수 있었다. 어려운 결정이었다. 세상은 그를 이해하려 하지 않았다. 최고의 컴퓨터 엔지니어였지만, IBM은 그를 해고했고, 누구도 그에 대한 얘기를 하지 않았다.

콘웨이는 이런 반응을 충분히 예견했고, 이를 극복하기 위해 노력했다. 몇 년 후 여성 린 콘웨이는 제록스의 연구센터에 입사했다. 현재의 그래픽 인터페이스나 마우스 같은 핵심 기술이 탄생한 곳이었고, 애플의 모델이 된 연구소였다. 이런 분위기였기 때문에 콘웨이를 받아들일 수 있었을 것이다. 콘웨이는 용기있는 사람이었다. 그는 세상의 시선에 움추려드는 대신, 자신이 잘 할 수 있는 방식으로 대응했다. 그는 칩 설계의 비효율을 지적하며, 이를 극복할 설계 방법을 제안했다. 이에 멈추지 않고, 미드 교수와 함께 <초고밀도 집적회로 시스템 입문(Introduction to VLSI Systems)>을 공동 집필했다. 이 책이 모든 상황을 바꾸었다. 출간 전에도 콘웨이의 VLSI 이론은 큰 반향을 일으켰지만, 책 출간 이후, 이 책은 그야말로 반도체 칩 설계의 ‘바이블’이 되었다.

1978년 콘웨이는 이 책을 교재로 MIT에서 강의를 개설했다. 학생들은 복잡한 설계 규칙 대신 표준화된 규칙만을 배웠고, 학기 과제로 직접 칩을 설계했다. 놀라운 것은 불과 한 학기만 배운 학생들에 의해 설계된 칩이 6주 후에 제작되어 배달되었고, 실제로 작동했다는 점이었다. 콘웨이는 한 발 더 나아가길 원했다. 당시에는 현재 인터넷의 시조격인 아파넷(ARPANET)이라는 네트워크가 대학을 중심으로 연결되어 있었는데, 12개의 대학 학생들의 설계 파일을 모아, 단 한 번의 공정으로 여러 종류의 칩을 동시에 찍어내는 프로젝트를 실행한 것이었다. 이는 반도체 칩 설계의 표준화가 얼마나 효율적인지 증명하는 확실한 계기가 되었고, 더 나아가 칩의 설계와 제조는 분리될 수 있다는 가능성을 보여주었다. 이런 흐름을 모두가 주목했고, 누구보다 관심을 가졌던 사람은 당시 텍사스 인스트루먼트(TI)의 반도체 부분을 책임지던 모리스 창이었다. 이 때의 강렬한 기억은 모리스 창이 후에 대만 정부의 요청을 받아 TSMC를 설립하게된 중요한 계기가 되었다.

콘웨이는 1985년부터 미시간대학의 교수가 됐다. 자신이 활동하던 실리콘 밸리로부터 매우 먼 곳이었고, 자신의 성전환 사실을 밝히지 않고 조용하게 지냈다. 이 곳 사람들은 콘웨이 교수가 VLSI를 개발한 혁신가라는 사실을 알지 못했다. 그만큼 자신을 노출시키지 않았다. 아마도, 인생의 후반기는 세상의 편견과 맞서지 않고 편안하게 지내고 싶었기 때문이었을 것이다. 그러나, 완전히 은퇴한 1999년 돌연 세상에 자신을 다시 노출시켰다. 콘웨이는 자신이 VLSI의 제안자이고, 성적 소수자로서의 삶이 얼마나 고달픈 일인지 고발하기 시작했다. 마침 세상은 조금씩 변해가고 있었다. 그는 컴퓨터 과학 분야에 기여한 공로로 2009년부터 여러 상을 받았고, 2020년 IBM으로부터 1968년 해고에 대한 공개 사과를 받기도 했다. 이후 2024년 세상을 떠났다. 한 사람의 인생에 산업과 문화의 혁신이 혼재된 고달프지만 찬란한 이야기로 남았다.

콘웨이에 의해 증명된 산업 생태계, 즉 설계와 제조의 분리는 수 많은 청년 엔지니어들이 자신들의 아이디어만으로 사업을 시작할 수 있는 기회를 제공했다. 실제, 1980년대 미국 대학에서만 수천 명의 VLSI 설계자가 양성되었고, 제조의 부담이 사라지자, 반도체 칩 생산설비, 즉 팹 라인 없이 설계와 마케팅에만 집중하는 ‘팹리스(Fabless)’ 기업들이 본격적으로 생겨났다. 1985년 무선 통신 기술(CDMA)을 표준화한 퀄컴(Qualcomm)을 시작으로, 1991년에는 통신 및 네트워크 칩 분야의 브로드컴(Broadcom), 1993년에는 그래픽 처리 장치(GPU) 시장을 개척한 엔비디아(Nvidia)가 설립되었다. 이어 1997년에는 통합 칩 솔루션으로 성장한 대만의 미디어텍(MediaTek)이 설립되었다. 이 기업들의 현재 모습을 본다면, 미드와 콘웨이에 의한 설계 혁명이 얼마나 큰 업적이었는지 쉽게 판단할 수 있다.

미드와 콘웨이의 설계 혁신은 한국 반도체 산업의 성장에도 큰 영향을 미쳤다. 1970년대 후반~1980년대 초반 미국 대학과 대학원으로 유학을 간 한국의 청년들은 당연히 미드-콘웨이 교재로 공부를 할 수 있었다. 물리학과 화학 분야를 탄탄하게 공부한 이들 중 일부는 엔지니어링 분야에서 전문적인 역량을 키웠고, 일부는 설계 분야의 전문성을 쌓을 수 있었다. 복잡한 설계 규칙이 난무하고, 개별 기업들이 자신들의 노하우를 최고의 대외비로 삼던 1970년대에는 칩 설계의 비밀을 맛보기 힘들었을 것이다. 지식과 노하우는 한국 내부로 빠르게 전파되었다. 1980년 후반을 넘어서면 국내 대학 일부도 미드-콘웨이의 책과 교수법을 받아들여 새로운 과목을 개설했다. 이 때를 기점으로 한국의 칩 설계 역량이 꽃을 피우기 시작했다. 이 대학들은 삼성전자와 협업해 우수한 인재들과 선행 연구 결과를 제공했고, 이 덕분에 삼성전자는 1M, 4M, 16M DRAM 설계 역량을 확보할 수 있었다. 여기에 더해 칩 생산 역량이 합쳐지면서, 삼성전자는 칩 설계와 생산을 같이 실행할 수 있는 세계 최고의 종합 반도체 기업(IDM, Integrated Device Manufacturer)으로 성장했다.

킬비와 노이스에 의해 도입된 반도체 칩 설계는 불과 70년만에 세상을 획기적으로 개선했다. 콘웨이의 혁신 이후에, 칩 설계에 대한 도구와 노하우는 더욱 깊고 넓게 형성되어 끊임없는 혁신의 발판이 되었다. 엔비디아를 창업한 젠슨 황과 같은 청년 엔지니어들은 자신의 꿈을 오롯이 칩에 녹여내어 상상하기 어려운 성공을 거두기도 해다. 수십 억개를 넘어 수백 업개의 트랜지스터를 하나의 칩에 구현하고자 하는 설계자들의 노력은 지금도 진행 중이다. 5nm 공정을 지나 3nm, 1nm 선폭의 칩을 설계하는 만큼 현재의 반도체 칩은 물리적 한계에 거의 다다른 것처럼 보이기도 한다. 이런 상황은 탄탄한 기초 지식과 오랜 노하우를 넘어 기발한 상상이 성패를 좌우하게 만들 것이다. 모든 사람들이 휴가를 간 썰렁한 연구실에서 혼자만의 상상을 이어가던 잭 킬비의 꿈은 현대의 연구실에 그대로 녹아있다.