AI가 할 수 없는 것(인간오류)
openclaw(오픈크로우)와 스카이넷
컴퓨터의 근본은 Green monochrome과 scanline임을 모르는가? 그렇다면 20세기 지성인은 아니다.
두괄식으로 정리하면 아래와 같다.
인간의 오류는 해결하지 못한다.
언제 AI가 비효율이 될까? 딱 한 줄로 정의하자면 “이전에 사람들이 만들어놓은 법칙 위에 새로운 것을 추가, 수정 할 때”이다. 생성 AI라는 이름에 걸맞게 “새롭게 생성”하는 것에는 엄청난 만족도를 보여주지만 반대로 이전의 법칙(legacy system)에서 AI를 사용하는 순간 무한한 고통과 좌절을 경험할 수 있다. 비단 프로그래밍 영역에서만 그럴까? 대답은 No이다.
그럼에도 불구하고 왜? AI의 한계에 대해서 말하는 사람들이 없을까?
단순하다
AI를 활용할 수 있는 능력을 가진 사람들은
오래된 업무에 AI를 적용할 생각을 하지 않기 때문이다.
어떤 상황이 일어날 지 암묵적으로 예측할 수 있기 때문이다.
그럼 “AI에 기술적 문제”가 있는 것이 아닌가? 라는 질문을 할 수 있는데, 답변은 No이다. AI의 기능에는 전혀 문제없고 “인간의 만든 모든 것에 맥락적 오류”가 반드시 있기 때문이다. 단지 “오류와 모순”으로 가득하다는 것을 사람들은 관심없어 할 뿐이다.
1. 프로그래밍에서 현실
Vibe coding이고 뭐시기고 간에 “기존의 시스템”을 AI로 바꾸는 것을 쉽게 생각하는 개발자가 있다면 “폭탄일 확률이 95%’가 넘는다. AI가 이슈가 되기 이전에도 “경험없고”, “지금 시스템의 이력”이 없는 사람들이 함부로 코드를 건드려서 시스템을 “Hell(말 그대로 헬) gate”로 만드는 흑역사들은 종종 주위에서 찾아볼 수 있다.
”무에서 새로운 것을 창조”
하는 것 만큼 안전한 것은 없다. 반면 기존의 시스템(legacy)를 수정하며 새로운 기능을 추가 하는 상황에는 언제나 “비효율”과 “모순”을 접하게 된다. 그 환경에서 타협을 보면서 “시스템을 진보”시켜야 하는 것이 개발자이다. 이것을 생성 AI가 할 수 있다?라고 생각하는 것 자체가 “현업자”가 아닌 것이다. 소위 말하는 “눈으로 일하는 개발자(실제로 해 본 것이 없다는 말)” 또는 전문용어로 “폭탄(Bomber man)”이다.
2. 일상에서 현실
종종 SNS에서 사회통념상 황당한 판결을 내는 사건의 댓글에는 “이제 법관도 AI로 바꿀 때”라는 말을 많이 보인다. 그런데 “감정”을 삭제하고 “논리적 접근”을 하게 되면 그것이 말이 되나? 라는 생각을 할 때가 많다. 법이 버그투성이고 완벽하지 않은 경우가 적지 않은 데(그래서 개정법 같은 버그패치가 나오는 것 아닌가?), 시스템 버그를 해결못한 상태에서 AI 투입이 문제해결의 방법으로 생각할 수 있나?
“우리회사의 수십년간 잘못된 경영시스템”을
아이비리그 출신의 30대초반 천재 임원이 와서 기존의 “조직개편”과 “업무프로세스 수정없이” 별도의 별동대(독립부서 또는 법인)를 운영하면
“ 구글처럼 만들 수 있다 ”고 생각하는 철없는 대표와 무엇이 다른가(내 인생경험상 특정인을 지칭하고자 하는 멘트는 절대로 아님을 밝힌다)?
3. 나 대신 다 해준다고?
넌 도대체 이름이 몇 개냐?요즘 프로그래밍에 대한 경험이 낮은 개발자나 일반인들이 오픈클로에 광적인 반응을 보인다. 어떤 이유인지는 정확히 모르겠지만 “냄비”현상으로 보이는 것도 사실이다. 그러나 AI로 나의 시스템을 모두 자동화 한다면? “간단히 말하면 나만의 스카이넷”을 만나게 될 것이다. 왜 스카이 넷일까? “나님의 환경은 오류와 버그"로 가득하기 때문이다.
일반적으로 문제있는 시스템을 추가 개발할 경우 개발자들은 다음과 같이 생각한다.
새로운 환경에서 만들어야
완성도가 높아진다.
그런 점에서 기존 시스템을
다시 만들어야 한다(파괴).
심지어 AI는 개발자 사고방식과 많이 흡사한 코드 덩어리이다. 오류 가득한 환경에서 기능을 추가로 요구 한다면? 기존시스템(legacy) 를 삭제를 하지 않고 재개발을 시작한다고 보장할 수 있나? 왜? 그런 비효율적인 일을 해야 하지?
"챗GPT 대 제미나이" AI 가상전쟁‥21번 중 20번 핵 버튼 눌렀다 (2026.02.27/뉴스데스크/MBC)
'제2의 자비스' 물거품…네카당이 금지한 오픈클로, 어떻길래
자비스는 개뿔. 누가봐도 스카이넷이구만, 사이버다인 보다는 국방부의 오류가 컸다.강조하지만 기술은 문제없다.
필요에 따라 진화하기 때문이다. 문제는 “너님이 문제”임을 깨닫고 있지 못한다는 것이다. 만약 지금 삶에서 “모순”이 있거나 “비효율”이 발생하고 있다면 “사고방식”과 업무처리 순서에서 찾아야 할 것이다. 그 것을 해결한 다음에 필요한 것이 “새로운 기술”이다.
기술은
숨겨진 문제를 해결하지 않고
무작정 요구하면
“생산”이 아니라 “파괴”를 할 수 있다.
AI 이전에도 그랬다.