[CTO칼럼]데이터가 엉키는 현장, AI로 풀기
대학 행정에서 중소기업 R&D까지, 내가 겪은 문제와 해결의 실마리들
연구나 사업 운영을 하다 보면 “AI 도입”이라는 말이 참 쉽게 들립니다.
하지만 실제로 현장에 가보면, AI가 들어갈 여지가 있어도 현실의 벽 때문에 잘 안 굴러가는 경우가 정말 많습니다.
오늘은 제가 대학 행정 업무부터 중소기업 CTO로 일하면서 겪은 데이터·AI 도입의 현실적인 문제들과, 그걸 어떻게 풀어갈 수 있을지 가볍게 이야기해보려고 합니다.
■ 1. 대학 행정에서 부딪혔던 진짜 문제들
작년에 저는 OO대 반도체특성화대학지원사업에서 성과관리 업무를 맡았습니다.
당연히 “AI로 자동 보고서 만들고, BI로 데이터 분석하고…” 같은 멋진 그림을 그렸죠.
그런데 현실은 달랐습니다.
문제 1) 데이터 구조화가 불가능에 가까웠다
행정 실무자들이 “데이터베이스” 개념보다는
양식에 맞춰 숫자 입력 → 제출에 익숙해 있습니다.
그래서 데이터를 구조화해 쌓으려고 해도,
단위/필드가 매번 달라지고
파일명 규칙이 없고
증빙은 PDF·사진·HWP가 뒤섞여 있고
같은 지표라도 해마다 정의가 바뀌고
“DB를 만들 기반 자체가 없는 상황”이 되는 경우가 흔합니다.
문제 2) 한국형 난제: HWP + 수시 변경되는 양식
이건 정말 한국에서만 겪는 고유 난제(?)라고 생각합니다.
보고서는 대부분 HWP
부처/교내에서 양식을 수시로 바꾸고
실무자도 운영 방식이나 성과 지표를 필요할 때마다 바꿈
이러면 AI나 자동화 파이프라인이 굴러갈 수가 없습니다.
기준이 변하기 때문에, AI는 매번 “처음부터 다시” 학습해야 하거든요.
■ 2. 그렇다면 AI는 정말 쓸 수 없는 걸까?
전혀 그렇지 않습니다.
오히려 이 문제는 “실무자가 바뀌어야 한다”가 아니라,
AI·시스템이 실무자 방식에 맞춰야 한다는 점을 깨달으면서 해결이 보였습니다.
해결 실마리 1) 실무자는 그대로—뒤에서 자동 구조화
행정 담당자에게 데이터 규격화를 요구하면 100% 실패합니다.
그래서 아예 접근을 바꿉니다.
실무자는 계속 HWP·엑셀·PDF 그대로 제출
→ 시스템이 뒤에서 자동으로 정제·구조화
문서는 AI로 PDF 변환 → OCR → 표/항목 추출 → 데이터 사전(Codebook)과 매칭
이 방식이면 실무자 업무는 늘지 않고, 관리자는 구조화된 데이터를 얻습니다.
해결 실마리 2) 양식 변경은 문제 아니라 “컬럼명 변경”으로 취급
AI가 보고서 양식을 학습하는 게 아니라,
고정된 지표 정의서(KPI Dictionary) 를 학습하도록 만들면 됩니다.
보고서 양식이 바뀌어도,
‘실적값’ → ‘성과 수치’
‘지표명’ → ‘성과 항목’
같은 식으로 자동 매핑이 가능해지고
AI 파이프라인은 거의 변하지 않습니다.
해결 실마리 3) 증빙 기반 RAG(지식베이스) 구축
보고서 형식은 매번 바뀌어도,
증빙 데이터 자체는 거의 안 바뀝니다.
그래서 비정형자료(명단·집행·이미지·PDF)를 모두 벡터화해
“증빙 기반 자동 보고서 생성”을 만들면
양식 변경에 영향을 거의 받지 않습니다.
■ 3. 올해는 중소기업 CTO로, 문제의 종류가 달라졌다
지금은 중소기업 CTO로 중기부 과제 + 디스플레이/포장재 소재 개발을 하고 있습니다.
여기서는 행정의 문제보다 연구 데이터 문제가 더 큽니다.
■ 문제: 비정형 데이터(스펙트럼·이미지·메모)가 대부분이다
소재 개발은
UV-Vis / PL 스펙트럼
SEM / 편광 이미지
공정 레시피
작업자 메모
장비 로그
같은 비정형 데이터가 훨씬 더 많습니다.
그리고 이런 데이터는 기존 ML로 다루기 쉽지 않습니다.
■ 나의 접근: R Shiny + AX(Ax/BoTorch) 기반 루프 구축
저는 누구나 쉽게 데이터를 입력하고
백엔드에서는 실험 최적화를 자동화하는 구조를 만들고 있습니다.
프론트: R Shiny (실험 입력·결과 입력·대시보드)
백엔드: Ax/BoTorch (능동 실험 설계)
비정형 데이터: 사전에 임베딩 자동 생성
실험 루프: 제안 → 실험 → 업데이트 → 다음 제안
결과적으로 실무자는 “폼에 입력만” 해도,
시스템은
레시피 추천
공정 조건 최적화
파레토 분석
데이터 기반 보고서
까지 모두 자동으로 돌아가게 됩니다.
■ 4. 이걸 하면서 느낀 “전반적인 인상”
여러 조직과 도메인을 넘나들며 느낀 점은 아주 단순합니다.
AI 도입의 가장 큰 적은 기술이 아니라
사람·양식·데이터의 ‘비일관성’이다.
그런데 그 비일관성을 “실무자에게 맞추면 된다”는 것을 깨달으면
AI는 오히려 훨씬 쉽게, 지속적으로, 조용히 퍼질 수 있습니다.
대학에서는 행정이,
기업에서는 연구가 복잡하지만,
두 곳 모두
사람의 방식을 바꾸지 않고도 AI를 적용할 방법이 있다는 걸 확인했습니다.
■ 5. 마무리
이 글이
“AI 도입이 이렇게 현실적인 고민에서 시작되고,
또 이렇게 풀 수 있구나”
하는 감각을 전해줬다면 좋겠습니다.
궁금한 점이 있거나
“이런 상황엔 어떻게 할까?” 같은 게 있다면
언제든지 편하게 물어보세요!
