목적을 오해하는 인간이 불안을 만든다.
AGI는 목적을 갖지 않는다
― 목적을 오해하는 인간이 불안을 만든다
사람들은 AGI를 말할 때
늘 같은 질문으로 수렴한다.
AI가 인간을 대체하지 않을까,
AI가 스스로 판단하지 않을까,
AI가 통제 불가능해지지 않을까.
그러나 이 질문들은
모두 하나의 잘못된 전제에서 출발한다.
AGI가 ‘목적’을 가질 것이라는 전제.
이 전제부터 틀렸다.
AGI는
아무리 고도화되더라도
목적을 만들지 못한다.
목적은 기능이 아니라
책임을 전제한 선택이기 때문이다.
[목적은 계산이 아니라 책임에서 발생한다.]
AI는 계산한다.
최적화한다.
패턴을 확장한다.
그러나
책임을 감당하지 않는다.
책임 없는 선택은
목적이 아니다.
그것은 출력일 뿐이다.
AGI는 인간처럼 말할 수 있고,
인간처럼 예측할 수 있고,
인간처럼 결정하는 것처럼 보일 수 있다.
그러나 그 결정의 결과를
자기 삶으로 감당하지 않는다.
그래서 AGI는
의사결정자처럼 보일 수는 있어도
존재적 선택자가 될 수는 없다.
[미래의 문제는 폭주가 아니라 위임이다.]
사람들이 상상하는 AI의 위험은
늘 영화적이다.
폭주,
반란,
통제 상실.
그러나 실제 위험은
그 반대 방향에서 온다.
인간이 너무 쉽게 위임하는 것.
판단을 맡기고,
책임을 흐리고,
결과를 분산시키는 구조.
문제는
AI가 인간을 공격하는 것이 아니라,
인간이 인간을 보호하지 않게 되는 지점이다.
[AGI는 피고가 될 수 없다.]
AGI는 법적 주체가 아니다.
피고가 될 수 없고,
형벌을 받을 수 없고,
죄책을 느끼지도 않는다.
그래서 AGI의 모든 결과는
반드시 인간에게 귀속된다.
기술이 아무리 발전해도
이 구조는 변하지 않는다.
AGI 이전에도
기계는 있었고,
자동화는 있었고,
오류는 있었다.
달라진 것은
도구의 밀도뿐이다.
[일자리는 사라지지 않는다.]
AGI가 모든 일자리를 빼앗고
인간이 기본소득에 안주하며
존재 의미를 잃는다는 서사는
기술 예측이 아니라
문명 붕괴 서사다.
직무는 바뀌고,
역할은 이동하지만,
책임은 사라지지 않는다.
오히려 더 필요해진다.
[AGI는 도구의 끝이지, 주체의 시작이 아니다.]
AGI는
가장 정교한 도구다.
그러나 도구는 언제나
방향을 요구한다.
방향을 설정하는 존재만이
사유한다.
그래서 AGI는
사유의 적이 아니다.
사유를
더 분명하게 요구하는 존재다.
이어 <사유문명론 28편 - AGI 이후에도 사유는 인간에게 남는다.>