에피소드 9. 실패는 포기할 때만 발생한다

무엇이 우리를 행복하게 하는가?

현대자동차 그룹이 계동사옥의 떠나, IMF시절에 농협중앙회가 건설하다가 김대중대통령께서 나라가 어려운데, 농협이 이렇게 좋은 건물을 본사로 사용하는 것은 아닌 거 같다는 이야기가 있어, 건축이 중단되고, 그 옆에 있는 하나로 마트만 사용하던 시절이었다. 정몽구명예회장님께서 헬기로 이동 중에 건설이 중단된 농협본사에 대해서 구매의사를 비추시고, 많이 저렴한 가격으로 구매가 이루어진 이후였다. 그 자리가 풍수지리적으로 현재 회장님께 좋다는 뒷이야기도 들렸다고 한다. 아무튼 그렇게 구매한 본사건물에 대해서 네트워크설계 및 구현의 오더가 나에게 내려왔다. 사실 현대, 써비스, 기아 통합 시, 원효로사옥의 국내 전산망을 게동으로 이동하는 작업을 첫 프로젝트로 오롯이 나의 능력만으로 한 번의 Rollback 없이 장애 없이 성공한 지 얼마 되지 않은 때였다. 회사의 변화는 실무자에게 많은 배움을 준다.

그 변화가 아무리 작은 것이라고 해도, 그렇게 시작한 네트워크 설계는 그동안 하고 싶어도 운영모드에서는 변경을 주저하게 되는 즉 장해 발생의 원인이 되는 변경을 꺼려서 적용하지 못한 자동 IP할당 기술은 DHCP를 적용코자 기획보고하였고, 수개월에 걸쳐서 검토 재검토, 재검토, 보완, 편리함 뒤에 숨은 사고발생에 대한 기록 즉 누가 언제 그 IP주소를 사용하였는지 확인이 되어야 한다는 등, 입사동기와 협업해서 IP주소 사용에 대한 기록도 데이터베이스화하여놓고 시작한 적용이었다. 또한 네트워크에서 사용하는 새로운 가상네트워크 등 할 수 있는 것은 다 해보고자 설계한 결과, 작업을 하는 날, 후배들과 선배들과 나는 밤샘작업을 하면서 일하기 시작한다. 또한 각 층에 설치된 당사 네트워크장비 표준인 시스코 제품이 아닌 노텔사 스위치가 설치된 상태에서 백본스위치만 시스코장비이고 이 또한 아산공장에 설치될 장비를 대여하여 구현하였다. 이기종 장비 간에 표준기술을 적용하지 않고 벤터 의존적인 확장기술을 적용 시에는 연동되지 않음을 인식하고 우선 임시적으로 벤더 간 인식가능한 표준기술만으로 입주가 가능하도록 적용하였다. 이 또한 오롯이 팀내부 역량으로 설계 및 적용하였고, 추후에 양재사옥 구매장비가 입고되고, 시스코 확장 벤터의존적인 기술을 적용하였는데....

DHCP 통신 방식

이상하게 매일 아침 문제가 생긴다.

자동주소 할당의 장점은 단말기에 중복된 주소를 휴먼에러로 인해 할당하지 않는 것이었는데, 전층에서 공통적으로 주소 중복에러가 매일 수건씩 발생하는 것이다. 이때 우리 팀장님께서 자동주소 할당 방식을 접었다면, 현대자동차 네트워크역사에서 자동주소할당기술은 적용되지 않았을 것이다. 마치 현대자동차 역사에서 최초 해외공장인 브라질 공장의 실패 ( 정세영 회장시절 )로 정몽구명예회장님을 제외하고는 아무도 해외진출을 찬성하지 않은 것처럼 단 한 번의 실패는 많은 두려움과 새로운 시도를 막는다는 경영환경에서 확인된다.

리더의 모습은 이런 모습이어야 한다. 실패는 포기할 때만 발생한다. 그 시절 참 좋아하는 팀장님은 40대에 회사를 그만두시고 커피가게 사장님을 하시지만, 카리스마 있으시고, 직원들과 토론하기 좋아하시고, 직원들이 좀 더 발전하기 원하셔서 참 재미난 시절이었다. 다만, 오랫동안 같이 근무하지 못하였으나, 나의 팀장님이시며 수년이 흘러 나의 견진세례시 대부님이 되어 주셨다.

다시 자동주소 할당방식으로 돌아가서 수십 일 동안 매일 중복주소발생건을 분석해 보지만, 원인이 파악이 되지 않았고, 윈도서버 담당 MS 엔지니어와 HA 솔루션 멘텍 엔지니어와 함께 원인을 파악하고자 모든 방법을 동원해 보았다. 이때, 새로운 것을 적용함이 완벽하게 검증되지 않은 이상 어렵다는 사실과 랩테스트와 현장은 다름을 알게 된 소중한 경험이었고, MS 엔지니어 담당기술자와 함께 네트워크 트래픽을 덤프를 떠서, 확인하면서 자동주소 할당 시 4번의 서버와 클라이언트가 패킷통신을 하고, 할당된 주소의 연장건으로 2번의 통신을 하는데, 이상하게 일부 패킷이 즉 통신데이터가 서버에 오지 않고, 서버는 사용하고 있는 단말기 정보가 서버에 도달하지 않으니, 그 주소를 사용하지 않는 IP주소로 생각하고 다른 단말기에 할당이 되는 것을 1차 원인으로 발견한다. 또한 처음 적용하면서 IP주소의 사용기간을 8시간으로 한 것이 장애가 발생되는 환경을 만들어 낸 것이다. 그럼 데이터 통신의 단절이 왜 발생하는지 근본 원인을 파악해야 하는데, 도저히 알 수가 없었다. HA솔루션에 문제가 있는지 소프트웨어를 몇 번 재설치도 해보았지만, 매일 아침 중복주소가 발생할 때마다 지옥이었다. 그 시절 맨텍회사의 영업대표를 참 괴롭혔는데, 알고 보니 중앙대 동문 후배인 것이 아닌가? 참 미안하고 고마웠다.

다만, 나만의 지옥이었지, 주변 어느 누구도 나무라거나, 야단치거나 원망하는 사람은 없었다. 수천 대의 피시에 IP주소를 다시 세팅하는 일은 사무기기 헬프데스크의 업무였으나, 이를 지시하는 것도 원복 하는 일이라 어려운 과제였고, 우선 임원들의 단말기만 수동주소로 변경하고 원인파악을 하고 있을 때, MS 엔지니어의 내부 화이트 백서가 첨부된 메일이 하나 도착한다. 그 백서에는 네트워크장비가 고급화되고 고속화되면서 단말기 연결 스위치의 각 포트가 단말기도 연결되지만, 스위치 장비가 연결되기도 하는 확장성으로 인해 모든 포트에 Layer2 레벨에서 하드웨어 주소를 인식하는 것은 포트에서 정보를 주는데, 장비가 연결되면 Layer2에서는 링이 형성되면 하드웨어 주소가 복수의 포트에서 정보를 주게 되고, 단말기간 통신이 불가능한 상황이 되므로 케이블로 링이 형성되면 하나의 포트를 자동차단하고자 spanning tree 가 기본적으로 작동하고 있었다. 이는 빠르게 작동해도 10여 초에서 50초가량 소요되고, 이는 단말기의 부팅 시 자동주소 요청속도보다 늦다는 것이다. 그러면서 자동주소 할당 요청데이터가 스위치 포트에서 유실되면서 서버에 도달하지 않았던 것이다.

드디어 찾았다. 단말기 연결 모든 포트에서 Spanning tree 가동을 작동하지 않도록 하는 것이다. 팀장님께 바로 보고하고 전층을 바로 적용코자 하였다. 이때 노력한 엔지니어이셨던 팀장님은 일부층만 하자고 하신다. 또 다른 문제가 발생할 수 있으니, 난 답답했다. 답을 찾았는데, 왜? 하지만, 지금까지 기다려 주시고 격려해 주신 팀장님이시기에 무조건 따랐다. 하루가 지나니, 적용한 층에서는 주소 중복이 발생하지 않는다. 그리하여 다음 단계로 확대, 확대, 해결했다. 얼마나 뿌듯한 지, 만세를 몇 번을 불렀을 것이다. 그리고 임원분들의 자동주소 할당으로 변경, 그리고 그 이후 주소를 사용하는 사용자 확인, 다만, 그 시절에는 로그인을 직원마다 수동으로 하게 되었던 시절이라, 단말기 구별이 쉽지 않아 임직원 이름으로 로그인하도록 자율적으로 통제하던 시절이었다.

추후에는 MS Active Directory를 적용하면 단말기별 사용권한 및 통제가 강제적으로 가능하게 되는데, 그 시절에는 외국회사를 제외하고는 AD를 적용한 회사는 거의 부재하였다. 다만, 하고 싶었다. 이는 여의도에 와서 전사적으로 그룹사 중에서 빠른 시기에 적용하였다. 그리고 음성전화기를 IP폰으로 전부 교체하였다. 이는 현재까지 고장 나지 않고 잘 사용하고 있다. 그 시절 고가의 IP 전화기를 도입하는 것이 비용적으로 얼마나 절감되는지를 가지고 얼마나 고민했던지, 그리고 장애 시 발생되는 업무 중단이 증권사에서는 무리다.라고 얼마나 적용하면 안된다고 방해하던지, 하지만 난 적을 만들면서 적용하였다. 그것이 결국은 나를 지금 여기에 있게 하였지만, 아무도 기억하지 않아도 최선을 다하였다. 내가 옳다고 생각하는 것에 대해서는 이제는 내가 옳다는 것이 절대적으로 옳을 수 없음을 안다. 그래서 경청 ( 임금님께서 몸을 기울어서 열개의 눈과 하나의 마음으로 듣는다 하여 한자로 傾 聽에 쓴다 )하는 자세가 중요하다.

이번 에피소드를 통해서 각 조직별 리더의 올바른 모습을 자연스럽게 보게 된다. 누구나 일하면서 실수와 오류를 범할수 있다. 이때에 담당자를 탓하기 보다 그 실수를 회복할 수 있는 시간을 줄 수 있는 리더가 몇이나 될까? 그 결과를 다시 성공으로 만들 시간을 줄 수 있는 선배가 몇이나 될까? 썩은 고기의 주변을 맴도는 하이에나처럼 다른 이의 실수를 뜯어먹으려는 동료와 선후배가 많은 세상이다. 서로의 약점과 실수를 이용하여 자신의 자리를 보전하고 성장하고자 하는 문화가 만연한 시대이다. 다만, 적지 않은 올바른 생각과 더불어 살아가며 후배들과 동료들의 실패를 보며 극복하는 시간과 기회를 주는 사람들 덕분에 아직도 세상은 살만하지 않은가?

마치 2천5백 년 전에 확립된 불교사상과 신약성경, 그리고 스토아철학의 태동과 완성은 현재 자본의 탐욕과 욕심을 버리고 인류가 자연과 더불어 평화롭게 행복하게 살아가는데 2천 년 동안 인간이 발전시켜 온 과학기술과 사회 및 국가체계로도 불가함을 알려주는 역사가 아니었던가 하는 생각이 든다.

그리고 인간의 욕심과 탐욕을 통제하고 살아가며, 평화로운 마음으로 타인을 도와주는 삶을 살아가는 보편타당한 사상을 체화하는 수행이 정답이 아닌가 하는 나의 생각이다.

요즘 인사이드아웃, 코코 등과 같은 디즈니영화에서 많이 다루고 있는 인간의 생각, 본성과 수행적인 삶이 사회를 구성하는 사람들에게 필수적인 단계이고, 이는 자유롭고 인간에 대한 성찰, 절대자에 대한 겸손한 마음과 생각, 수행으로 가능하다는 것이다.

다만, 이러한 명상과 수행, 기도를 통해서 다른 이에게 영향을 줄 수 있는 분들을 관리하는 것은 필요하지 않을까? 생각 든다. 2천 년 동안의 가톨릭에서의 수도자에 대한 엄격한 관리와 선종의 깨달은 이에게 수작업으로 증표를 넘겨주는 방식에서 우리가 무엇을 더 발전시켜야 할지 생각해 보게 된다.