NCS 기반 구조화된 면접 프로그램 개발 일지
들어가며
요즘 글이 뜸했던 이유가 있습니다. 바로 실제 AI 기반 HR 프로그램을 직접 개발하고 있기 때문입니다. 사실 저 역시 한동안은 “AI에 넣으면 딱 나오지 않나요?”라는 질문에 꽤 쉽게 고개를 끄덕이던 사람이었습니다. 생성형 AI가 보여주는 결과들이 워낙 인상적이었기 때문에, 많은 문제들이 비교적 빠르게 해결될 것이라고 생각하기도 했습니다.
하지만 이번 프로젝트를 진행하면서 생각이 완전히 달라졌습니다. AI 프로젝트에서 정말 어려운 일은 그럴듯한 답변을 만들어내는 것이 아닙니다. 같은 입력에서 같은 품질의 결과를 반복해서 얻을 수 있는 구조를 만드는 것, 그리고 그것을 실무에서 실제로 사용할 수 있는 수준까지 끌어올리는 것이 훨씬 어려운 일이라는 것을 절실히 체감하고 있습니다.
특히 HR과 같이 실제 의사결정과 직결되는 영역에서는 이러한 차이가 더욱 크게 느껴집니다. 단순히 “그럴듯한 답변”을 만들어내는 것과 실제 업무에서 반복적으로 활용할 수 있는 시스템을 구축하는 일은 전혀 다른 문제이기 때문입니다. 실제 현장에서 사용할 수 있는 프로그램을 만들기 위해서는 데이터 구조, 로직 설계, 예외 처리, 정확도 관리 등 생각보다 훨씬 많은 요소들이 함께 작동해야 합니다. 그래서 이번 프로젝트를 통해 단순히 AI를 활용하는 것을 넘어, AI가 실제로 작동하는 구조를 직접 만들어 보고 싶다는 생각을 하게 되었습니다. 그리고 그 과정에서 겪는 시행착오와 고민들을 기록으로 남겨 두는 것도 의미 있는 일이라고 판단했습니다.
이 글에서는 제가 현재 진행하고 있는 NCS 기반 구조화 면접 질문 생성 프로그램 개발 과정을 간단히 정리해 보려고 합니다. 아직 완성된 시스템은 아니지만, 실제로 프로그램을 설계하고 구현하는 과정에서 어떤 고민들이 있었는지, 그리고 AI 프로젝트에서 어떤 지점이 중요한지에 대해 조금씩 공유해 보겠습니다.
1. 바이브 코딩 시 활용하는 프로그램은?
현재 저는 바이브 코딩을 할 때 Visual Studio Code 환경에서 작업하고 있습니다. CLI 환경에서는 Codex,
VS Code 확장 프로그램으로는 Claude Code를 함께 사용하고 있습니다. CLI에서 Codex를 사용하는 이유는 비교적 단순합니다. 얼마 전 카카오에서 진행한 이벤트를 통해 ChatGPT Pro 1개월 이용권을 29,000원에 사용할 수 있었기 때문입니다. 현재는 이 구독 환경을 기반으로 Codex를 메인 바이브 코딩 도구로 활용하고 있습니다. 물론 Claude Code 역시 Agent Teams 등 여러 강력한 기능을 제공하고 있고 성능도 훌륭합니다. 다만 현재 제가 진행하고 있는 프로그램 개발 규모를 고려했을 때, Claude Code를 메인 개발 도구로 사용하기에는 Pro 요금제 환경에서는 무리가 있다고 판단했습니다. 그래서 현재는 OpenAI의 바이브 코딩 프로그램인 Codex를 중심으로 개발을 진행하고 있고, Claude Code는 코드 점검과 보조 도구로 활용하고 있습니다. 사실, Codex만으로도 충분히 안정적인 결과를 얻을 수 있어 꽤 만족하며 사용하고 있습니다.
(하) 헌재 바이브 코딩을 진행하고 있는 화면 2. 국가직무능력표준(NCS, National Competency Standard)이 무엇일까요?
1) 국가직무능력표준(NCS) 정의
[자격기본법 제2조제2호]
제2조(정의) 2. “국가직무능력표준”이란 산업현장에서 직무를 수행하기 위하여 요구되는 지식ㆍ기술ㆍ소양 등의 습득정도가 일정한 기준과 절차에 따라 평가 또는 인정된 것을 말한다.
자격기본법 제2조제2호에 의하면 국가직무능력표준(NCS)이란 "산업현장에서 직무를 수행하기 위하여 요구되는 지식·기술·소양 등의 내용을 국가가 산업부문별·수준별로 체계화한 것"으로 정의하고 있습니다.
[국가직무능력표준(NCS) 체계의 흐름] / 출처: 양재은, 2021, 충북대학교 박사학위 논문국가직무능력표준(NCS)은 산업현장에서 필요한 능력을 표준화하여 이를 근거로 교육·훈련·자격·채용제도를 개편하고 교육·훈련·자격·채용 간 연계를 강화시키는데 그 목적이 있습니다.
2) 국가직무능력표준(NCS) 구성 및 분류
[국가직무능력표준(NCS)의 개념] / 출처: 한국산업인력공단, 2022, 2022 능력 중심 채용 가이드북국가직무능력표준(NCS)은 산업현장에서 직무를 수행하는 필요한 능력(지식, 기술, 태도)을 국가가 표준화한 것입니다. 또한 산업부문별, 수준별로 필요한 능력을 교육훈련, 자격, 경력개발 등에 반영하여 산업현장에 필요한 직무능력이 실제로 채용, 훈련, 자격 등에 반영될 수 있도록 하고 있습니다. 국가직무능력표준(NCS) 구성도 상 직무를 구성하는 기본단위는 능력입니다. 능력은 직무를 수행하여 성과를 창출하기 위한 능력으로 직무수행능력과 직업기초능력으로 구성됩니다. 직무수행능력은 특정 전공에 해당하는 능력으로 특정 직무를 수행하기 위해 필요한 능력을 의미하며, 직업기초능력은 범 직원인에게 요구되는 기본적인 능력을 의미합니다. 능력단위 별로 적용범위 및 작업상황, 평가지침이 추가로 구성되어 있습니다.
[국가직무능력표준(NCS) 구성도] / 출처: 한국산업인력공단, 2022, 2022 능력 중심 채용 가이드북국가직무능력표준의 분류체계는 위에서 언급한 직무 단위 유형(Type)을 중심으로 분류한 체계로 ‘‘대분류(24개) → 중분류(80개) → 소분류(257개) → 세분류(NCS, 1,022개)’의 순으로 구성되어 있습니다. 아래 예시는 인사직무 NCS의 예로서 대분류(경영, 회계, 사무) → 중분류(총무, 인사) → 소분류(인사, 조직) → 세분류(인사) 순으로 분류되는 것을 아래 <그림>을 통해 확인할 수 있습니다.
3) 채용에서의 국가직무능력표준(NCS) 활용
채용 설계 단계에서는 조직의 인재상, 비전, 핵심가치, NCS 분석을 통해 도출한 능력들을 나열한 후 각 전형별로 능력들을 평가하기 위한 선발 기법 설계가 이루어져야 합니다. 우선 채용 프로세스별 선발기준은 채용 전형 단계별 합격자 배수에 대해서 결정하며, 단계별로 최소한의 탈락 기준을 수립하게 됩니다.
[단계별 채용 프로세스 예시] / 출처: 한국산업인력공단, 2022, 2022 능력 중심 채용 가이드북1단계 서류전형에서는 채용 입사지원서, 경력/경험기술서, 자기소개서 등의 기법 등을 통해 , 2단계 필기전형에서는 직업기초능력 필기, 직무수행능력 필기, 3단계 면접전형에서는 경험면접(BEI), 상황면접(IB), 토론면접, 발표면접(PT) 면접 등의 선발기법 등을 통해 직무기술서에서 나열하고 있는 능력들을 어떻게 평가할지에 대해서 설계가 이루어져야 합니다.
[직무분석 - 채용직무기술서 - 선발전형(평가도구) 연계] / 출처: 한국산업인력공단, 2022, 2022 능력 중심 채용 가이드북이번 AI 기반 NCS 구조화 면접 질문 생성 프로그램 개발에서는 이중 면접전형 단계에 초점을 맞추고 있습니다. 앞서 언급한 바와 같이 국가직무능력표준(NCS)의 분류체계는 특정 직무를 수행하는 데 필요한 역량, 즉 태도·기술·지식(KSA)을 중심으로 구성되어 있으며, 직무 수행에 요구되는 핵심 직업능력을 체계적으로 제시하고 있습니다. NCS 분류체계는 대분류 24개, 중분류 80개, 소분류 257개, 세분류 1,022개로 구성되어 있으며(전용일 외, 2021), 본 프로젝트에서는 이러한 구조화된 데이터를 기반으로 면접전형에서 활용 가능한 질문 생성 체계를 설계하고자 합니다.
공공기관 채용에서는 특히 구조화된 면접을 통해 인재 선발 평가의 신뢰성과 타당성을 높이고 있습니다. 구조화된 면접은 사전에 평가하고자 하는 직무능력에 대한 질문과 평가 기준, 면접 절차가 정해져 있는 면접 방식으로, 평가의 공정성과 객관성을 확보할 수 있다는 특징이 있습니다. 구조화된 면접에서 활용되는 대표적인 면접 기법으로는 구술면접과 시뮬레이션 면접이 있습니다. 구술면접은 경험면접이나 상황면접과 같이 질의응답을 통해 지원자의 태도, 동기, 가치관, 성격 등을 평가하는 방식이며, 시뮬레이션 면접은 발표면접이나 토론면접과 같이 실제 직무 수행과 유사한 상황을 통해 지원자의 직무 능력을 평가하는 방식입니다. 많은 공공기관에서는 이러한 두 가지 면접 방식을 함께 활용하여 지원자의 직무 역량과 인성을 종합적으로 평가하고 있습니다.
[비구조화된 면접과 구조화된 면접] / 출처: 한국산업인력공단, 2022, 2022 능력 중심 채용 가이드북
[구조화된 면접 시행을 위한 면접 기법] / 출처: 한국산업인력공단, 2022, 2022 능력 중심 채용 가이드북이번 AI 기반 NCS 구조화 면접 질문 생성 프로그램 개발에서는 이러한 면접전형 단계, 특히 구조화된 면접 질문 생성에 초점을 맞추고 있습니다. 앞서 살펴본 것처럼 국가직무능력표준의 분류체계는 특정 직무를 수행하기 위해 필요한 역량, 즉 지식·기술·태도(KSA)를 중심으로 구성되어 있으며 직무 수행에 필요한 핵심 직업능력을 체계적으로 제시하고 있습니다. NCS 분류체계는 대분류 24개, 중분류 80개, 소분류 257개, 세분류 1,022개로 구성되어 있으며(전용일 외, 2021), 본 프로젝트에서는 이러한 구조화된 데이터를 기반으로 면접전형에서 활용할 수 있는 질문 생성 체계를 설계하고자 합니다.
만약 NCS 데이터베이스를 활용하여 AI가 구조화된 면접 질문을 생성하고 이를 면접관에게 제공할 수 있다면, 데이터에 기반한 다양한 면접 질문을 체계적으로 생성할 수 있을 것입니다. 또한 직무능력 요소에 기반한 질문이기 때문에 구조화된 면접이 지향하는 공정성과 타당성 확보에도 도움이 될 것으로 기대할 수 있습니다. 이러한 가능성을 바탕으로 본 프로젝트를 시작하게 되었습니다.
국가직무능력표준(NCS)에 대한 보다 자세한 내용은 아래 글을 참고해 주시기 바랍니다.
https://brunch.co.kr/@publichr/10
3. NCS 데이터를 활용한 구조화된 면접 질문 생성 프로그램
1) 생성형 AI에 탑재하면 바로 되는 것 아닌가요?
결론부터 말씀드리면, 그렇지 않습니다.
현재 제가 직접 개발하고 있는 것은 공공기관 채용을 위한 NCS 기반 구조화 면접 질문 생성 프로그램입니다. 특정 공공기관의 채용 공고문과 직무기술서 PDF를 업로드하면, 시스템이 직무기술서 안에서 지원 분야와 NCS 소분류 텍스트를 자동으로 추출합니다. 이후 해당 정보를 NCS 데이터와 연결하여 능력단위와 KSA(Knowledge, Skill, Attitude) 정보를 조회합니다. 그리고 이 정보를 기반으로 구조화된 면접 질문과 꼬리 질문을 생성하는 방식으로 설계되어 있습니다. 또한 담당 예정 직무 정보와 면접 평가 기준을 함께 입력하면, 그 내용을 반영하여 보다 구체적인 질문을 생성할 수 있도록 시스템을 구성하고 있습니다.
겉으로 보면 단순히 직무기술서를 ChatGPT와 같은 생성형 AI에 입력하고 면접 질문을 만들어 달라고 요청하면 될 것처럼 보일 수도 있습니다. 하지만 이 프로젝트에서 제가 가장 중요하게 보고 있는 지점은 질문을 직무기술서, NCS 분류체계, 능력단위, 그리고 KSA 데이터와 정확하게 연결하여 구조화된 질문 생성 과정을 자동화하는 것입니다. 즉, AI가 단순히 그럴듯한 문장을 만들어내는 것이 아니라, 구조화된 데이터와 명확한 로직을 기반으로 질문이 도출되도록 만드는 것이 핵심입니다.
이러한 이유로 이 프로젝트에서 AI는 모든 것을 담당하는 역할이라기보다는 필요한 구간에서 보조적으로 활용되는 도구에 가깝습니다. 가능한 한 정확도는 데이터와 규칙 기반으로 확보하고, 생성형 AI는 꼭 필요한 단계에서만 제한적으로 활용하는 방식으로 시스템을 설계하고 있습니다. 시스템 개발 과정에서는 크게 프론트엔드와 백엔드 두 영역이 존재합니다. 프론트엔드는 사용자가 실제로 보는 화면과 인터페이스를 설계하는 부분이며, 백엔드는 사용자의 눈에는 보이지 않지만 시스템이 실제로 작동하는 로직과 데이터 처리 과정을 담당하는 영역입니다.
현재 저는 특히 백엔드의 정확도를 높이는 작업에 집중하고 있습니다. 이를 위해 전체 워크플로우를 여러 단계로 나누고, 각 단계에서 End-to-End 테스트를 반복적으로 수행하며 정확도를 점검하고 개선하는 작업을 계속 진행하고 있습니다. 아래 화면은 이러한 과정에서 백엔드 로직을 직접 테스트하며 정확도를 높여가고 있는 모습입니다.
2) 예를 들어 어떤 정확성을 올리고 있는 건가요?
아래 화면은 여러 공공기관의 NCS 직무기술서입니다. 자세히 보면 기관마다 직무기술서의 양식이 서로 다릅니다. 사람은 이러한 표를 보면 자연스럽게 소분류 근처에 있는 단어들이 해당 직무의 NCS 소분류라는 것을 이해합니다. 하지만 컴퓨터는 이러한 맥락을 직관적으로 인식하지 못합니다.
만약 처음부터 컴퓨터가 인식하기 쉬운 형태로 데이터가 정비되어 있다면 프로그램의 로직은 훨씬 단순해질 것입니다. 그러나 현실의 직무기술서는 기관마다 양식이 모두 다르기 때문에, 이를 정확하게 추출하기 위해서는 지속적인 로직 보완이 필요합니다.
실제로 여러 공공기관의 직무기술서를 시스템에 탑재해 테스트를 진행해 보니 문제는 생각보다 단순하지 않았습니다. 기관마다 문서의 표 구조가 모두 다르고, 같은 의미의 내용을 전혀 다른 표현으로 작성하는 경우도 있었습니다. 어떤 문서에서는 잘 동작하던 로직이 다른 기관 문서를 넣는 순간 다시 흔들리는 일이 반복되었습니다.
결국 시스템의 신뢰도를 결정하는 핵심은 직무기술서에서 NCS 소분류를 얼마나 안정적으로 찾아낼 수 있는가였습니다. 그래서 이 부분을 가장 우선순위로 두고 개선 작업을 진행했습니다. 현재 시스템은 다음과 같은 순서로 동작합니다.
문서에서 소분류가 존재할 가능성이 높은 위치를 먼저 탐색하고
해당 후보를 NCS 공식 소분류 목록과 역으로 대조하며
표현 차이(유사어, 표기 흔들림 등)를 사전 기반으로 보정한 뒤
이렇게 찾은 소분류를 기반으로 능력단위를 매칭하고, 마지막 단계에서 AI가 우선순위를 정리합니다.
내부 테스트(직무기술서 10건 기준) 결과, 현재 성능은 정답과 완전히 일치한 비율이 약 70%, 큰 틀에서 유사하게 맞춘 수준은 약 80% 정도입니다. 목표는 완전 일치 기준 90% 이상으로 끌어올리는 것입니다. 숫자만 보면 아직 갈 길이 멀어 보일 수도 있습니다. 그러나 문서 구조가 제각각인 환경에서 이러한 정확도를 안정적으로 높여가는 과정이 결국 전체 시스템의 품질을 결정하는 핵심 요소라고 보고 있습니다.
이 과정을 겪으면서 다시 느끼는 점이 있습니다. AI 프로젝트에서 가장 중요한 것은 “딸깍”이 아니라 명확한 KPI와 재현성이라는 것입니다. 직무기술서를 AI에 넣으면 그럴듯한 답은 나옵니다. 하지만 같은 입력에서 같은 결과가 반복적으로 나오는 시스템을 만드는 일은 완전히 다른 차원의 문제입니다. 또 하나 중요한 것은 단계별 정확도의 누적 효과입니다. 예를 들어 어떤 프로젝트가 총 3단계로 구성되어 있고 1단계 정확도가 70%라 가정한다면 그리고 2단계, 3단계도 70%의 정확성을 가지고 있다면
1단계 정확도 70%
2단계 정확도 70%
3단계 정확도 70%
이라면 최종 정확도는 0.7 × 0.7 × 0.7 = 약 34% 결국 처음 단계의 정확도가 낮으면 전체 시스템 성능은 급격히 떨어질 수밖에 없습니다. 그래서 지금은 소분류 추출 실패 사례를 분석하면서, 지속적으로 성능을 올리고 있습니다.
3) NCS 기반 AI 구조화된 면접 생성 프로그램 앞으로 나아가야 할 방향
이 프로젝트를 시작한 지 약 10일 정도가 지났습니다. 주중에는 퇴근 후 시간을 내어 개발 작업을 이어가고 있고, 주말에도 시간을 투자하며 성능을 조금씩 끌어올리고 있습니다. 아래 화면은 현재까지 개발한 로직을 바탕으로 테스트해 본 프론트엔드 화면입니다. 수없이 테스트를 반복한 결과, 현재 단계에서도 꽤 괜찮은 수준의 구조화된 면접 질문이 생성되는 것을 확인할 수 있었습니다. 하지만 저의 목표는 단순히 그럴듯한 구조화된 면접 질문을 만드는 것이 아닙니다. 궁극적인 목표는 실제 공공기관 채용 면접에서 바로 활용할 수 있는 수준까지 프로그램의 성능을 끌어올리는 것입니다.
솔직히 말하면, 비개발자로서 개발 과정에서 많이 헤매고 있습니다. 지난 10일 동안도 엉뚱한 방향으로 시간을 꽤 사용한 적이 있었고, 아마 오늘도 비슷한 시행착오를 겪게 될 것 같습니다. 어떤 로직이 맞다고 생각해 밀어붙였다가 다시 구조를 뒤집는 일도 적지 않았습니다. 그런데 이상하게도 이런 시행착오를 겪을수록 프로젝트의 중심은 오히려 더 분명해지고 있습니다. 결국 중요한 것은 화려한 기술이 아니라 신뢰할 수 있는 구조라는 점입니다. 그리고 AI는 마법 같은 존재가 아니라, 우리가 방향을 정확하게 설정해 줄 때 비로소 제대로 작동하는 도구라는 사실도 점점 더 분명하게 느끼고 있습니다.
이 프로젝트의 목표는 분명합니다. 4개월 안에 퍼블리시 가능한 수준까지 시스템을 끌어올리는 것입니다. 단순히 시연용 프로토타입이 아니라, 서버 구조와 보안 설계, 로그 관리, 데이터 처리 정책까지 포함하여 실제 환경에서도 운영할 수 있는 수준의 시스템을 만드는 것이 목표입니다. 물론 아직 갈 길은 멀고, 보완해야 할 부분도 많습니다. 그럼에도 이 프로그램을 단순한 프로토타입으로 끝내고 싶지는 않습니다. 지금 겪고 있는 시행착오와 구조 수정, 예외 처리, 데이터 정합성에 대한 고민까지 모두 포함해 실무에서 정말 사용할 수 있는 형태의 시스템으로 완성해 보고자 합니다.
나가며
이 프로젝트를 시작하기 전까지 저는 생성형 AI를 비교적 낙관적으로 바라보고 있었습니다. AI에게 질문을 던지면 꽤 괜찮은 답이 돌아오고, 그 결과를 보며 “이제 많은 일들이 빠르게 자동화되겠구나”라고 생각하기도 했습니다. 하지만 실제로 하나의 시스템을 만들어 보니 생각보다 훨씬 많은 단계와 고민이 필요하다는 것을 알게 되었습니다.
특히 인사와 같이 실제 의사결정에 영향을 미치는 영역에서는 단순히 그럴듯한 결과가 아니라 재현 가능한 결과와 신뢰할 수 있는 구조가 무엇보다 중요하다는 점을 다시 느끼게 되었습니다. 사람이 보기에는 당연해 보이는 문서의 맥락도 컴퓨터에게는 전혀 다른 문제로 다가옵니다. 그래서 지금 이 프로젝트의 상당한 시간은 화려한 AI 모델을 붙이는 데 쓰이는 것이 아니라, 데이터를 정리하고 로직을 보완하며 시스템의 기초 체력을 다지는 데 사용되고 있습니다.
또 한편으로는, 이번 경험을 통해 비개발자인 인사담당자도 충분히 시스템을 설계하고 만들어 볼 수 있는 시대가 왔다는 점도 실감하고 있습니다. 물론 개발자처럼 코드를 완벽하게 이해하는 것은 아닙니다. 하지만 문제를 정의하고, 필요한 데이터 구조를 설계하고, AI 도구를 활용해 반복적으로 구조를 개선해 나가는 과정 자체는 충분히 도전해 볼 만한 영역이라는 생각이 들었습니다.
앞으로도 개발 과정에서 겪는 고민과 변화들을 계속 기록해 보겠습니다. 이 프로그램이 실제로 완성되는 과정을 차근차근 지켜봐 주시면 좋겠습니다.
Reference
김창일. (2025). 베테랑 HR 담당자가 만든 HR 담당자를 위한 찐 실전 챗GPT: 생성형 AI HR 대혁명 (개정판 2판). 광문각출판미디어.
HRKIM. 2023. "국가직무능력(NCS) 기반 채용". HRKIM(브런치). 2023년 3월 5일 작성. 2023년 10월 14일 접속.https://brunch.co.kr/@publichr/10
국가직무능력표준 홈페이지. https://www.ncs.go.kr/
양재은. (2021). 공공기관 국가직무능력표준(NCS)기반 채용의 타당성에 관한 연구: K공공기관 사례를 중심으로, 충북대학교 박사학위 논문
한국산업인력공단. (2022). 2022 능력 중심 채용 가이드북