SB 53으로 본 한국형 "책임있는 AI" 전환 전략

소버린 AI 개발과 책임있는 AI 균형 발전을 위한 국가 RAI 에이전시

Oct 8. 2025

지난 9월 25일, 이재명 대통령은 유엔 안전보장이사회 연설에서 "책임있는 인공지능(Responsible AI)"의 중요성을 역설했다. 그는 "AI 기술이 인류에게 희망이 될 수도, 위험이 될 수도 있다"며, "모두를 위한 AI(AI for All)"를 실현하기 위해서는 국제사회가 함께 안전장치를 마련해야 한다고 강조했다. 특히 AI 개발에서 투명성, 책임성, 공정성을 확보하고, AI가 초래할 수 있는 편향, 차별, 악용 가능성에 대한 선제적 대응이 필요하다고 역설했다. 이는 한국이 단순히 AI 기술 강국을 넘어 "신뢰할 수 있는 AI 생태계"를 구축하겠다는 국가적 비전을 천명한 것으로 해석된다.

그러나 대통령의 이러한 의지 표명에도 불구하고, 한국의 실제 AI 국가전략을 들여다보면 여전히 기술 개발과 산업 육성에 편중되어 있음을 발견하게 된다. 책임있는 AI를 구현하기 위한 제도적 장치와 실행 주체는 상대적으로 미흡한 상황이다. 바로 이 지점에서, 최근 미국 캘리포니아에서 통과된 SB 53 법안은 한국에 중요한 시사점을 던진다. 이 법안은 혁신과 안전성을 동시에 추구하는 이중 축 전략— 즉 규제적 거버넌스(Governance)와 실행적 에이전시(Agency) — 을 균형있게 설계했다는 점에서 주목할 만하다. 본 글에서는 SB 53의 구조를 분석하고, 한국이 대통령의 비전을 실천하기 위해 어떤 정책적 전환이 필요한지 제언하고자 한다.

SB 53: 혁신과 안전을 양축으로 설계한 캘리포니아의 실험

2025년 9월 29일, 캘리포니아 주지사 개빈 뉴섬(Gavin Newsom)은 SB 53 법안(일명 「선도적 인공지능 투명성법, TFAIA」)에 서명했다. 이 법안은 미국 최초로 첨단 AI 모델 개발 기업들에게 안전성 규제와 공공 인프라 지원을 동시에 제공하는 포괄적 입법이다. SB 53의 가장 큰 특징은 두 개의 축을 중심으로 설계되었다는 점이다.

첫 번째 축: 안전성 거버넌스

SB 53은 OpenAI, 구글, 메타 등 대형 AI 기업들에게 자사 모델이 통제 불능 상태에 빠지거나 생화학 무기 개발 등에 악용될 위험성에 대한 대비책을 공개하도록 의무화했다. 구체적으로 기업들은 다음과 같은 투명성 의무를 준수해야 한다:

위험성 완화 계획의 공개: 첨단 AI 모델이 초래할 수 있는 잠재적 위험과 이를 완화하기 위한 구체적 조치를 대중에게 공개해야 한다.

내부 신고 체계 구축: AI 개발 현장 종사자가 자사 모델의 위험을 익명으로 제보할 수 있는 내부 절차를 마련해야 하며, 이러한 내부고발자를 법적으로 보호한다.

사고 보고 의무: 심각한 안전 사고 발생 시 15일 이내에 주 비상서비스국(OES)에 신고해야 한다.

제재 조치: 이를 준수하지 않을 경우 위반 건당 최대 100만 달러의 벌금이 부과될 수 있다.

캘리포니아는 OpenAI, 구글, 메타 등 주요 AI 기업의 본거지로서, 연방 차원의 입법 공백을 메우며 책임있는 AI의 선도 모델을 자체적으로 구축하려는 노력을 보여주었다. 뉴섬 주지사는 "공동체를 보호하는 규제를 세우면서도 AI 산업의 성장을 계속 지원할 수 있음을 캘리포니아가 입증했다"고 강조했다.

두 번째 축: 공공 AI 인프라 — CalCompute 컨소시엄

SB 53의 진정한 혁신은 단순한 규제를 넘어 정부가 직접 AI 인프라를 구축하여 에이전시 역할을 수행한다는 점이다. 법안에 따라 캘리포니아 정부운영청(GovOps) 산하에 'CalCompute'라는 새로운 컨소시엄이 설립되며, 이는 대규모 클라우드 AI 컴퓨팅 인프라를 공공 주도로 구축하여 안전하고 윤리적이며 공정한 AI 개발을 지원하는 플랫폼 역할을 맡는다.

CalCompute의 핵심 목적은 AI 연구개발의 민주화이다. 거대 테크 기업만이 고성능 AI 계산 자원을 독점하는 상황을 완화하고, 스타트업과 연구자들에게 연산 자원을 제공함으로써 공공의 이익에 부합하는 AI 혁신을 촉진한다. 쉽게 말해 "AI용 공영 클라우드"를 만들어, 자원이 부족한 혁신 주체들도 첨단 AI 개발에 참여할 수 있도록 문턱을 낮추는 것이다.

이러한 공공 인프라는 단순히 계산 자원을 제공하는 데 그치지 않는다. 정부가 플랫폼 제공자이자 가치 감시자로 기능하면서, 해당 인프라를 활용하는 AI 모델들이 안전성 기준을 준수하도록 유도할 수 있다. 예를 들어 CalCompute를 안전성 검증 테스트베드로 활용하여, 일정 기준을 충족한 모델만 공공사업에 활용되도록 인센티브를 설계할 수 있다. 이는 규제와 지원을 결합한 "당근과 채찍" 전략의 모범 사례라 할 수 있다.

혁신과 안전의 균형

스콧 위너 주 상원의원은 "AI같이 변혁적인 기술에 대해서는 혁신을 지원하는 한편 상식적 안전장치를 함께 마련할 책임이 있다"며, 이 법안이 기술 혁신과 안전을 모두 선도하는 이정표가 될 것이라고 말했다.

SB 53이 주는 핵심 메시지는 명확하다. 안전장치가 혁신을 저해하는 것이 아니라, 오히려 지속가능한 혁신의 토대가 된다는 것이다. 흥미롭게도 이 법안은 거대 기술기업들의 거센 로비 반대에도 불구하고 주 정부와 초당적 입법부의 협력으로 통과되었다. 이는 AI 시대에 공공정책이 어떤 역할을 해야 하는지를 보여주는 선례로 남았다.

한국의 현실: 기술 개발에 편중된 불균형한 전략

이재명 대통령이 유엔에서 책임있는 AI의 비전을 밝힌 것과 달리, 한국의 실제 AI 국가전략은 "소버린 AI(자주적 AI)" 육성에 집중되어 있다. 정부는 2023년 5년간 총 100조 원 규모의 AI 분야 투자 계획을 발표했으며, 여기에는 한국어 초거대 AI 모델 개발, AI 반도체·클라우드 인프라 확충, 빅데이터 센터 구축 등이 포함되어 있다.

올해 8월 과기정통부는 네이버, LG, SKT 등이 참여하는 5개 컨소시엄을 '국산 AI 기본모델 사업' 사업자로 선정하고, 총 2천억 원 규모의 데이터·GPU 자원을 제공하며 한국형 ChatGPT를 육성하겠다는 청사진을 제시했다. 이재명 대통령도 국제무대에서 "대한민국을 AI 강국으로 만들겠다"고 천명하며 각국의 투자 협력을 이끌어내고 있다.

이처럼 기술 개발과 산업 육성 측면에서의 전략은 공격적이고 체계적으로 추진되고 있다. 그러나 SB 53의 이중 축 관점에서 한국의 AI 전략을 평가하면, 명백한 불균형이 드러난다.

거버넌스 축: 형식은 갖췄으나 실효성은 의문

한국도 AI 윤리기준 수립, AI 윤리헌장 제정(2020년) 등 책임있는 AI를 위한 노력을 해왔다. 2023년 말 국회를 통과한 「인공지능 기본법」은 신뢰성 있는 AI 활용 기반을 조성하겠다고 명문화했다. 이 법은 위험도에 따른 고위험 AI 관리, 생성형 AI 산출물 표시 의무화 등 투명성 위주의 규제를 도입하고, 위반 시 최대 3천만 원의 과태료 부과 등 집행 조항도 담고 있다. 또한 대통령 산하에 국가 AI위원회를 설치하고, 과기정통부가 중심이 되어 AI 위험관리, 영향평가를 수행하는 등 정부의 정책적 감독 역할도 부여되었다.

그러나 이러한 거버넌스 장치들의 실효성에는 의문이 제기된다. AI 기본법은 유럽연합의 AI법에 비해 규제 강도가 낮고 집행 수단이 제한적이라는 평가를 받는다. 기업에 대한 과징금 상한이 수만 달러 수준에 불과하여 억지력이 미흡하고, 금지 기술 규정도 없어 "규제 칼날이 무디다"는 지적이 나온다.

더 근본적인 문제는 거버넌스 체계가 여러 부처(과기정통부, 개인정보보호위원회, 방통위 등)로 분산되어 있고, 독립적 규제기관이나 전문 에이전시가 부재하다는 점이다. 각 부처가 자기 영역에서 부분적으로 대응할 뿐, AI 리스크를 통합적으로 관리하고 책임질 컨트롤타워가 없는 것이다.

에이전시 축: 사실상 공백 상태

더 심각한 문제는 에이전시 축의 공백이다. 캘리포니아의 CalCompute처럼 공공이 직접 AI 인프라를 구축·운영하며 안전성 혁신을 견인하는 주체는 한국에 없다. 현재 정부가 지원하는 AI HPC 인프라(예: 광주 AI데이터센터 등)는 대부분 민간 클라우드에 의존하거나 일부 지역 데이터센터에 한정되어 있으며, 이를 공공 목적으로 동원하거나 윤리적 검증 테스트베드로 활용할 수 있는 체계는 부족하다.

한국형 초거대 AI를 개발하는 핵심 인프라 역시 민간 주도로 운영되고 있어, 정부가 플랫폼 제공자이자 가치 감시자로 기능하기 어려운 구조다. 결과적으로 현재 한국의 AI 국가전략은 기술 주권 확립이라는 한 축은 강력하나, 이에 상응하는 RAI 전환을 이끌 공공 리더십 — 이를테면 AI 위험을 모니터링하고 사회적 신뢰를 구축할 전문 에이전시 — 이라는 다른 한 축은 사실상 공백 상태라 해도 과언이 아니다.

왜 지금 'RAI 전환 에이전시'가 필요한가

국제적 흐름: 규범 형성의 주류에 합류해야

OECD를 비롯한 국제기구들은 신뢰할 수 있고 인간 중심적인 AI를 위해 안전성, 투명성, 책임성을 핵심 원칙으로 제시하며, 정책 권고에서도 AI 연구개발 투자와 더불어 포용적이고 호환적인 거버넌스 환경 조성을 나란히 강조한다. 이는 기술 개발과 제도 설계가 함께 가야 함을 의미한다.

유럽연합은 곧 발효될 AI법(AI Act)을 통해 고위험 AI에 대한 강력한 규제를 예고하고 있고, 영국도 글로벌 AI안전 정상회의를 주최하여 국제 공조를 모색 중이다. 세계가 RAI 방향으로 선회하고 있는 지금, 한국만이 "기술만 앞서면 된다"는 관성을 버리지 못한다면 머지않아 규범 형성의 주변부로 밀려날 수밖에 없다.

이재명 대통령이 유엔에서 제안한 디지털 윤리 국제기구나 글로벌 AI 협력체계 논의에 한국이 주도적으로 목소리를 내려면, 국내에서 모범을 보이며 규범을 실천하고 있다는 근거가 필요하다. 다시 말해 "글로벌 스탠더드에 부합하는 국내 시스템"을 갖추는 것이 외교력 측면에서도 중요해진 상황이다.

국내적 지속가능성: 신뢰 기반의 혁신만이 살아남는다

AI 기술이 의료, 교육, 교통, 국방 등 각 분야로 확산될수록, 이를 감독하고 책임질 공적 역량이 중요해진다. 예컨대 자율주행이나 의료 AI와 같은 고위험 활용 분야에서는 사전에 충분한 안전 검증과 사후 모니터링이 이루어져야 하는데, 현재로선 이를 전문적으로 담당할 조직이 없다. 기업의 자율적 책임에만 맡겨두기에는 위험이 사회에 미칠 파급력이 너무 크다.

2023년 챗봇 '이루다'의 개인정보 유출 사고나 AI 면접의 편향성 논란은 윤리적 통제 없이 기술을 서둘러 도입한 부작용을 단적으로 보여준다. 앞으로 더욱 강력한 생성형 AI가 등장하면 가짜뉴스 범람, 알고리즘 차별 등 사회적 리스크도 증폭될 것이다. 이러한 부정적 외부효과를 미연에 방지하고 국민 신뢰를 확보하려면, 선제적으로 개입하는 공공 주체가 필요하다.

경쟁력 확보: RAI는 새로운 품질규격

지금 정부가 육성 중인 초거대 AI 모델들이 진정 글로벌 시장에서 인정받고 활용되려면, 신뢰성과 윤리성 담보가 전제되어야 한다. 한국산 AI가 아무리 성능이 좋아도, 국제 기준에 부합하는 책임성 체계가 없다면 해외 수출이나 글로벌 서비스가 어려워질 수 있다. 유럽 등지에서는 AI 기업이 윤리적·법적 책임을 어떻게 지고 있는지를 거래 조건으로 삼을 가능성이 높다.

결국 RAI는 시장 진출을 위한 새로운 품질규격이 되어가고 있다. 선제적으로 국내에 RAI 거버넌스를 확립하면, 이는 오히려 한국 AI 기업들의 대외 신뢰도 제고와 경쟁우위로 이어질 것이다.

정책 제언: 'RAI 전환 에이전시' 설립을 중심으로

정책 입안자들에게 주는 메시지는 분명하다. 이제 한국도 AI 정책의 양축을 재조정해야 한다. 한쪽 날개(기술 개발 투자)로만 멀리 날아갈 수 없는 법이다. 다른 한쪽 날개, 즉 책임있는 AI를 뒷받침할 제도적·조직적 장치를 지금 마련하지 않으면, 향후 AI 혁신의 방향은 지속가능하지 않을 것이다.

1. 전담 에이전시의 설립: 국가 RAI 전환 컨트롤타워

범정부적으로 흩어진 AI 거버넌스 기능을 통합·조정할 전담 기구를 두는 것을 적극 검토해야 한다. (가칭) 국가 AI책임센터 또는 RAI 전환 에이전시를 신설하여 다음과 같은 역할을 부여할 것을 제안한다:

AI 윤리 및 안전성 검증: 고위험 AI 시스템에 대한 사전 평가 및 인증

영향평가 및 모니터링: AI 활용에 따른 사회적·윤리적 영향을 지속적으로 모니터링

사고 대응 및 조사: AI 관련 심각한 사고 발생 시 신속한 조사와 대응

정책 통합 조정: 각 부처의 AI 정책을 조율하고 일관성 있는 거버넌스 체계 구축

국제 협력 창구: OECD, UNESCO 등 국제기구와의 협력 및 글로벌 규범 형성 참여

유럽연합의 EU AI청, 영국의 AI안전 연구소 등 국제 사례를 참조하되, 한국의 맥락에 맞는 모델을 설계해야 한다. 새로운 기구 설립이 어렵다면, 기존 기관(예: 개인정보보호위원회 또는 과기정통부)의 권한과 역할을 대폭 강화하는 차선책도 고려할 수 있다.

2. 공공 AI 인프라의 전략적 재설계: 한국형 CalCompute

캘리포니아의 CalCompute 모델을 한국 상황에 맞게 발전시켜야 한다. 현재 정부가 지원하는 AI HPC 인프라(광주 AI데이터센터 등)를 다음과 같이 재설계할 것을 제안한다:

공공 AI 클라우드 플랫폼 구축: 연구자, 스타트업, 중소기업에게 고성능 AI 계산 자원을 개방하여 AI 연구개발의 민주화 실현

안전성 검증 테스트베드: 해당 인프라를 활용하는 AI 모델이 안전성 기준을 준수하도록 검증하는 시스템 구축

윤리적 AI 개발 지원: 편향 탐지, 설명가능성 검증 등 RAI 개발을 위한 도구와 서비스 제공

공공사업 연계: 안전성 검증을 통과한 AI 모델에 공공조달 우선권 부여 등 인센티브 설계

정부가 단순히 보조금 지원자에서 나아가 플랫폼 제공자이자 가치 감시자로 기능할 때, 비로소 "모두를 위한 AI" 구현이 가능해질 것이다.

3. 법·제도의 실효성 강화와 국제정합성 제고

내년 시행될 AI 기본법의 하위법령 제정 작업이 현재 진행 중인 만큼, 여기서 실효성 확보를 위한 보완이 시급하다:

제재 수준 상향: 과태료 상한을 현실적 수준으로 대폭 인상하여 억지력 확보

고위험 AI 기준 구체화: 위험성 평가 의무의 실질화와 고위험 AI 지정 기준의 명확화

금지 기술 규정 도입: 사회에 명백히 해로운 AI 활용(예: 사회신용점수 시스템)에 대한 금지 조항 신설

내부고발자 보호: SB 53처럼 AI 개발 현장의 내부고발자를 법적으로 보호하는 장치 마련

또한 OECD AI 원칙이나 유네스코 AI 윤리규범 등 국제 원칙을 국내 정책에 접목하는 노력을 지속해야 한다. 한국이 이미 OECD AI 권고에 서명한 만큼, 포용성과 투명성, 책임성이라는 핵심 가치를 모든 AI 정책의 평가척도로 삼고 점검해야 할 것이다.

4. 거버넌스-에이전시 연계 시스템 구축

거버넌스(규칙)와 에이전시(실행)가 따로 놀아서는 안 된다. 양자를 유기적으로 연계하는 시스템이 필요하다:

정책-실행-모니터링 순환체계: AI위원회에서 정책을 결정하면, RAI 에이전시가 이를 실행하고, 그 결과를 다시 정책에 피드백하는 순환구조

민관학 협력 플랫폼: 정부, 기업, 학계, 시민사회가 참여하는 다층적 거버넌스 구조를 통해 다양한 이해관계자의 목소리 반영

지역-중앙 협력: 광역 지자체별로 AI 안전센터를 설치하여 중앙 에이전시와 네트워크를 형성하고, 지역 특성에 맞는 RAI 정책 실험

맺음말: 책임있는 AI로의 전환, 지금이 적기

캘리포니아가 SB 53을 통해 보여준 것처럼, "안전장치가 갖춰진 혁신"이야말로 오래 지속될 수 있는 혁신이다. 종종 규제나 윤리 확보를 두고 혁신을 저해하는 요소로 인식하는 시각이 있지만, 이는 시대착오적이다. 신뢰 기반의 혁신만이 대중과 시장의 지속적인 지지를 얻을 수 있다.

이재명 대통령이 유엔에서 천명한 "모두를 위한 AI"는 단순한 수사가 아니라 실천적 과제다. 그 비전을 실현하기 위해서는 기술 개발+α의 관점에서, 공공 리더십과 제도적 뒷받침이 있는 AI 생태계를 구축해야 한다. 현재 한국은 기술 주권 확보에는 상당한 진전을 이루었지만, 그 기술을 책임있게 활용할 사회적 역량은 여전히 미흡하다.

RAI 전환을 위한 에이전시 축 강화는 선택이 아니라 필수다. 이는 세 가지 차원에서 시급성을 갖는다:

첫째, 국제사회에서의 규범 주도권 확보를 위해서다. 세계가 AI 거버넌스 체계를 구축해가는 과정에서, 한국이 기술력만 앞세우고 제도적 모범은 보이지 못한다면 글로벌 논의의 변방으로 밀려날 수밖에 없다. 반대로 선제적으로 RAI 체계를 확립한다면, 한국은 "기술과 윤리를 균형있게 추구하는 모범국가"로 인정받으며 국제 규범 형성에 주도적 역할을 할 수 있다.

둘째, 국내 AI 산업의 장기적 경쟁력 확보를 위해서다. 앞서 강조했듯이, RAI는 이제 선택적 덕목이 아니라 시장 진입을 위한 필수 조건이 되어가고 있다. 국내에서 안전성과 윤리성을 검증받은 AI는 해외 시장에서도 신뢰를 얻을 것이며, 이는 곧 한국 AI 기업들의 글로벌 경쟁우위로 이어진다.

셋째, 사회적 신뢰와 수용성 확보를 위해서다. AI 기술이 일상에 깊숙이 침투할수록, 국민들은 그 기술이 안전하고 공정하게 작동하는지에 대해 더 민감해질 것이다. 정부가 선제적으로 AI 위험을 관리하고, 문제가 발생했을 때 신속히 대응하는 모습을 보여줄 때, 비로소 "AI에 대한 사회적 신뢰"가 형성된다. 그 신뢰가 없다면, 아무리 뛰어난 기술도 대중의 저항에 부딪혀 사장될 수 있다.

정책 입안자들에게 당부한다. 현재 추진 중인 소버린 AI 전략에 RAI 전환 에이전시 설립을 핵심 과제로 추가해야 한다. 이는 기존 전략을 부정하는 것이 아니라, 불완전한 한쪽 날개를 보완하여 비로소 균형잡힌 비행을 가능케 하는 것이다. 캘리포니아의 SB 53이 보여준 거버넌스-에이전시 이중 축 모델을 한국 상황에 맞게 설계하고, 이를 통해 혁신과 안전, 성장과 신뢰를 동시에 추구하는 AI 국가전략을 완성해야 한다.

AI 기업과 개발자들에게도 메시지를 전한다. RAI는 규제의 족쇄가 아니라 지속가능한 비즈니스의 토대다. 안전성과 윤리성을 갖춘 AI 제품은 장기적으로 더 많은 사용자의 신뢰를 얻고, 더 넓은 시장에 진출할 수 있다. 정부가 제공할 공공 AI 인프라와 검증 시스템을 적극 활용하여, "신뢰받는 AI"를 개발하는 데 앞장서길 바란다. 이는 단기적으로는 추가 비용처럼 보일 수 있지만, 중장기적으로는 브랜드 가치와 시장 경쟁력으로 보상받을 것이다.

시민사회와 학계에도 역할이 있다. RAI 전환은 정부와 기업만의 과제가 아니다. 다양한 이해관계자가 참여하는 민주적 거버넌스 과정이 필요하다. AI 기술이 사회에 미치는 영향을 비판적으로 모니터링하고, 정책 수립 과정에 시민의 목소리를 반영하며, 윤리적 쟁점에 대한 사회적 대화를 촉진하는 역할을 적극 수행해야 한다. 학계는 RAI 관련 연구를 심화하고, 정책 입안에 필요한 증거 기반을 제공하며, 차세대 AI 전문가들에게 윤리적 소양을 교육하는 책임을 져야 한다.

한국은 지금 기로에 서 있다. 한쪽 길은 기술 개발에만 매진하다가 안전성과 신뢰성 문제로 인해 국제사회에서 고립되고, 국내에서도 AI에 대한 불신이 커지는 미래다. 다른 한쪽 길은 기술 혁신과 책임있는 거버넌스를 균형있게 추구하여, 글로벌 AI 시대의 진정한 선도국가로 자리매김하는 미래다.

선택은 명확하다. 그리고 그 선택을 실천할 적기는 바로 지금이다. 이재명 대통령이 유엔에서 약속한 "모두를 위한 AI"를 공허한 구호로 끝내지 않으려면, 캘리포니아의 SB 53이 제시한 교훈을 진지하게 받아들여야 한다. 거버넌스와 에이전시의 두 축을 바로 세워, 대한민국이 혁신과 신뢰가 균형잡힌 AI 강국으로 도약하길 기대한다.

AI 기술의 미래는 단순히 누가 가장 빠르고 강력한 모델을 만드느냐로 결정되지 않는다. 누가 가장 신뢰받고 책임있는 AI 생태계를 구축하느냐로 결정될 것이다. 한국이 그 경주에서 선두주자가 되길, 그리하여 이재명 대통령이 천명한 비전이 현실로 구현되길 진심으로 바란다.