퇴근 후 2시간, 작지만 가장 확실한 혁신의 시작
"AI로 뭔가 해야 할 것 같은데, 도대체 어디서부터 시작해야 할지 모르겠습니다." "우리 팀의 업무는 과연 AI로 대체될까요? 아니면 더 강력한 무기가 될까요?" "AI 도입, 거액의 예산을 투입하는 전사적 프로젝트만이 유일한 답일까요?"
최근 제가 만나는 많은 경영자, 중간 관리자, 그리고 동료들이 비슷한 고민을 이야기합니다. AI라는 거대한 파도가 밀려오는 것은 알지만, 그 위에서 서핑을 해야 할지, 튼튼한 방파제를 쌓아야 할지 막막한 것이 현실입니다. 미디어는 연일 GPT의 놀라운 능력과 AI가 가져올 미래에 대해 이야기하지만, 정작 '내 역할'와 '조직'에 어떻게 적용해야 할지에 대한 실질적인 답을 찾기는 어렵습니다.
저 또한 약 30년간 IT 분야에 몸담아오며 비슷한 질문을 스스로에게 던졌습니다. 제 오랜 경험과 노하우가 과연 AI 시대에도 유효할까? 이 거대한 변화 앞에서 무엇을 할 수 있을까? 거창한 담론에 휩쓸리기보다, 저는 퇴근 후 하루 2시간, 제 책상 앞에서 직접 실험하고 연구하는 길을 택했습니다. 그리고 그 과정에서 발견한 작지만 중요한 깨달음을 나누고자 합니다. 바로 거대한 계획보다, 작고 검증 가능한 '두 시간짜리 실험'이 모든 변화의 시작점이라는 사실입니다.
제가 진행했던 'AI 헬프데스크 파일럿' 프로젝트를 통해, 어떻게 이 작은 실험이 조직의 일하는 방식을 재설정하는 첫걸음이 될 수 있는지 보여드리겠습니다.
모든 조직에는 '헬프데스크'가 있습니다. 꼭 IT 부서가 아니더라도, 재무, 인사, 총무팀 등 다양한 부서에서 직원들의 반복적인 질문에 답변하는 역할을 하죠. "법인카드 정산 어떻게 해요?", "휴가 신청서 양식 어디 있나요?", "새 노트북 신청 절차 알려주세요."
이 질문들은 명백한 패턴을 보입니다.
반복성: 전체 문의의 80%가 20%의 질문에 집중됩니다.
파편화: 관련 정보는 PDF, 내부 게시판, 이메일 등 곳곳에 흩어져 있습니다.
비일관성: 누가, 언제 답변하느냐에 따라 답변의 톤과 내용이 미묘하게 달라집니다.
이는 응답을 기다리는 직원의 시간을 낭비시키고, 매번 같은 답변을 해야 하는 담당자의 에너지를 소모시킵니다. 문제의 존재를 모두가 알지만, "원래 그런 것"이라며 누구도 선뜻 나서서 해결하지 못하는 고질적인 비효율입니다. 저는 바로 이 지점에서 AI 실험의 첫 단추를 끼웠습니다. '만약 흩어진 사내 문서들이 스스로 학습해서, 출처까지 명확히 밝히며 답변할 수 있다면?'
백 마디 말보다 한 번의 시연이 강력합니다. 저는 단 두 시간 만에 간단한 채팅 인터페이스를 가진 AI 헬프데스크의 프로토타입을 만들었습니다. 그리고 앞에서 직접 시연했습니다.
"방문객 와이파이 접속 방법 알려줘." 라고 묻자, AI는 단순히 암호를 알려주는 것을 넘어, 내부 IT 정책 문서를 근거로 단계별 절차를 정확하게 안내했습니다. 가장 중요한 점은, 답변 하단에 있는 [출처 확인] 버튼이었습니다. 이 버튼을 누르자, AI가 어떤 문서의 몇 번째 문단을 참고하여 답변을 생성했는지 정확히 보여주었습니다.
눈이 빛나는 순간이었습니다. '마법'이 아니라 '신뢰'를 보여준 것입니다. AI가 그럴듯한 말을 지어내는 것이 아니라, 우리의 자산인 '문서'에 기반하여 논리적으로 답변한다는 사실을 눈으로 확인하자, 막연한 불안감은 기대감으로 바뀌기 시작했습니다.
경영진이나 비개발자 동료들은 복잡한 기술 아키텍처에 관심이 없습니다. 그들이 궁금한 것은 "그래서 이게 얼마나 복잡하고 비싼가?" 입니다. 저는 이 구조를 '레고 블록 조립'에 비유하여 설명했습니다.
UI 블록 (Streamlit): 사용자와 대화하는 채팅창을 빠르게 만들었습니다.
두뇌 블록 (OpenAI API): 사람처럼 자연스러운 문장을 생성하는 역할을 합니다.
기억 블록 (SentenceTransformers): 우리의 문서들을 AI가 이해할 수 있는 형태로 변환하고 저장합니다.
이 모든 것은 이미 세상에 존재하는 도구들입니다. 수억 원의 개발비를 들여 처음부터 시스템을 구축한 것이 아니라, 필요한 레고 블록들을 가져와 단 두 시간 만에 조립한 것입니다. 이 설명은 AI 도입이 '거대한 장벽'이 아니라 '현실적인 선택지'가 될 수 있다는 인식을 심어줍니다.
이 작은 파일럿이 가져올 변화는 단순히 '3분 걸리던 답변이 30초로 줄어드는 것' 이상입니다.
일관성의 확보: 모든 답변이 검증된 문서를 기반으로 하므로, 서비스 품질이 표준화됩니다.
직원의 자신감 향상: 신입사원도 AI의 도움을 받아 베테랑처럼 정확하게 답변할 수 있습니다.
숨겨진 문제의 발견: AI에게 문서를 학습시키는 과정에서, 내용이 서로 충돌하거나 오래된 정책들을 자연스럽게 발견하고 정비하게 됩니다. 이는 '데이터 거버넌스'의 시작입니다.
즉, 업무 효율화는 시작일 뿐, 조직의 지식 자산을 체계화하고 서비스 품질을 상향 평준화하는 더 큰 가치를 얻게 되는 것입니다.
두 시간짜리 파일럿은 그 자체로 완벽한 솔루션이 아닙니다. 오히려 '무엇을 더 해야 할지 알려주는 가장 정직한 지도'입니다. 이 작은 성공을 통해 우리는 다음 단계로 나아갈 구체적인 로드맵을 그릴 수 있게 되었습니다.
스캔된 PDF 문서도 읽을 수 있도록 OCR 기능 추가하기
사용자별 접근 권한 설정 및 보안 강화하기
AI의 답변 정확도를 측정하고 평가하는 파이프라인 구축하기
막연한 계획이 아니라, 검증된 가치를 바탕으로 한 단계씩 나아가는 '성장형 로드맵'입니다. 실패의 위험이 적고, 투자의 명분이 명확하며, 구성원들의 공감대를 얻기 쉽습니다.
AI 시대의 리더십은 '미래를 예측하는 능력'이 아니라 '미래를 실험하는 용기'에서 나옵니다. 거대한 AI 전략 보고서와 끝없는 시장 분석에 시간을 쏟기보다, 지금 당장 당신의 팀이 겪는 가장 반복적이고 소모적인 문제를 하나 찾아보십시오. 그리고 그 문제를 해결할 수 있는 가장 작은 실험을 설계해 보십시오.
단 세 개의 내부 문서와 세 개의 예상 질문만으로도 충분합니다.
이 글을 읽고 계신 경영자, 관리자, 그리고 동료 여러분. AI는 더 이상 먼 미래의 기술이 아니라, 오늘 우리의 일하는 방식을 바꿀 수 있는 강력한 도구입니다. 그 변화의 시작은 거창할 필요가 없습니다. 퇴근 후 2시간, 혹은 업무 시간 중 집중하는 2시간이면 충분합니다.
그 작은 실험이 당신과 당신의 조직을 위한 가장 위대한 첫걸음이 될 것입니다.
IT Helpdesk 시연 영상을 보고 싶으시면 확인해보실 수 있습니다. [링크] https://youtu.be/KvE3Mra7vn8?si=_lHU-iSw4CgMGXb6