OpenAI의 AGI와 그 이후를 위한 계획
안전 및 정렬
2023년 2월 24일.
오픈AI 블로그에 새로운 글이 올라왔습니다. Sam Altman 오픈AI CEO가 쓴 글입니다.
Planning for AGI and beyond (openai.com)
사회적인 책임 부문이 부각되면서 어떻게 사용자들의 피드백을 자사 서비스에 녹아낼 것인지 입장을 밝힌 후 1주일 가량 지나서 다시 한번 새로운 글을 올리면서 오픈AI가 지향하는 바와 향후 어떤 계획을 가지고 있는지 공개했습니다.
요즘 많은 분들이 사용하는 Deelp.com 을 사용해 전문을 싣습니다.
----------------------------------------------------------------------------------------------------------------------
우리의 임무는 일반적으로 인간보다 더 똑똑한 인공 지능, 즉 AI 시스템이 모든 인류에게 혜택을 줄 수 있도록 하는 것입니다.
AGI(Artificial General Intelligence)가 성공적으로 개발되면 이 기술은 풍요를 증진하고 세계 경제를 활성화하며 가능성의 한계를 변화시키는 새로운 과학 지식의 발견을 지원함으로써 인류를 향상시키는 데 도움이 될 수 있습니다.
AGI는 모든 사람에게 놀랍도록 새로운 능력을 부여할 수 있는 잠재력을 가지고 있으며, 우리 모두가 거의 모든 인지 작업에 도움을 받을 수 있는 세상을 상상할 수 있으며, 인간의 독창성과 창의성을 크게 증진시킬 수 있습니다.
반면에 AGI는 오용, 심각한 사고, 사회적 혼란을 초래할 수 있는 심각한 위험도 수반할 수 있습니다. AGI의 긍정적인 측면이 워낙 크기 때문에 사회가 영원히 개발을 중단하는 것은 가능하지도 않고 바람직하지도 않다고 생각하며, 대신 사회와 AGI 개발자들이 올바른 방법을 찾아야 합니다.[1]
앞으로 어떤 일이 일어날지 정확히 예측할 수 없고, 물론 현재의 진전이 벽에 부딪힐 수도 있지만, 우리가 가장 중요하게 생각하는 원칙은 명확히 말할 수 있습니다:
1. 우리는 AGI가 인류가 우주에서 최대한 번영할 수 있도록 힘을 실어주기를 원합니다. 우리는 미래가 완벽하지 않은 유토피아가 되기를 기대하지는 않지만, 좋은 점은 극대화하고 나쁜 점은 최소화하여 AGI가 인류의 증폭기가 되기를 원합니다.
2. 우리는 AGI의 혜택, 접근성, 거버넌스가 광범위하고 공정하게 공유되기를 바랍니다.
3. 우리는 거대한 위험을 성공적으로 헤쳐나가고자 합니다. 이러한 위험에 직면할 때, 이론적으로는 옳아 보이는 일이 실제로는 예상보다 이상하게 전개되는 경우가 많다는 것을 인정합니다. 우리는 '한 번의 실패'를 최소화하기 위해 덜 강력한 버전의 기술을 배포하여 지속적으로 학습하고 적응해야 한다고 믿습니다.
단기 과제
AGI를 준비하기 위해 지금 당장 해야 할 중요한 일이 몇 가지 있습니다.
첫째, 더욱 강력한 시스템을 지속적으로 개발하면서 이를 배포하고 실제 환경에서 운영 경험을 쌓는 것입니다. 이것이 AGI를 신중하게 도입할 수 있는 가장 좋은 방법이라고 생각합니다. AGI가 있는 세상으로의 점진적인 전환이 갑작스러운 전환보다 낫기 때문입니다. 강력한 AI가 세상의 발전 속도를 훨씬 더 빠르게 만들 것으로 기대하며, 이에 점진적으로 적응하는 것이 더 낫다고 생각합니다.
점진적인 전환은 사람, 정책 입안자, 기관이 현재 상황을 이해하고, 이러한 시스템의 장단점을 직접 경험하고, 경제에 적응하고, 규제를 마련할 수 있는 시간을 제공합니다. 또한 사회와 AI가 함께 진화할 수 있으며, 사람들이 상대적으로 적은 부담으로 원하는 바를 집단적으로 파악할 수 있습니다.
현재로서는 빠른 학습과 신중한 반복을 통해 긴밀한 피드백 루프를 구축하는 것이 AI 배포 과제를 성공적으로 해결하는 가장 좋은 방법이라고 생각합니다. 사회는 AI 시스템의 허용 범위, 편견에 대처하는 방법, 일자리 대체에 대처하는 방법 등에 대한 주요 질문에 직면하게 될 것입니다. 최적의 결정은 기술이 나아가는 길에 따라 달라질 것이며, 다른 새로운 분야와 마찬가지로 지금까지 대부분의 전문가 예측이 틀린 경우가 많았습니다. 따라서 진공 상태에서 계획을 세우는 것은 매우 어렵습니다.[2]
일반적으로 말하자면, 저희는 AI가 세상에 더 많이 사용될수록 좋은 결과를 가져올 것이라고 생각하며, 이를 촉진하고자 합니다(API에 모델을 넣거나 오픈소스를 공개하는 등의 방법으로). 또한 민주화된 액세스가 더 나은 연구, 분산된 권한, 더 많은 혜택, 새로운 아이디어를 제공하는 더 많은 사람들로 이어질 것이라고 믿습니다.
저희 시스템이 AGI에 가까워짐에 따라, 저희는 모델을 만들고 배포하는 데 점점 더 신중해지고 있습니다. 우리의 결정에는 사회가 일반적으로 신기술에 적용하는 것보다 훨씬 더 많은 주의가 필요하며, 많은 사용자가 원하는 것보다 더 많은 주의가 필요합니다. AI 분야의 일부 사람들은 AGI(및 후속 시스템)의 위험성을 허구라고 생각하는데, 그 생각이 옳은 것으로 판명된다면 더할 나위 없이 좋겠지만, 저희는 이러한 위험이 실재하는 것처럼 운영할 것입니다.
시스템이 AGI에 가까워짐에 따라 모델 생성과 배포에 더욱 신중을 기하고 있습니다.
어느 시점에서 배포의 장점과 단점(예: 악의적인 행위자 권한 부여, 사회 및 경제적 혼란 야기, 안전하지 않은 경쟁 가속화) 사이의 균형이 바뀔 수 있으며, 이 경우 지속적인 배포에 대한 계획을 크게 변경할 것입니다.
둘째, 점점 더 조정되고 조정 가능한 모델을 만들기 위해 노력하고 있습니다. GPT-3의 첫 번째 버전과 같은 모델에서 인스트럭트GPT와 ChatGPT로 전환한 것이 그 초기 사례입니다.
특히, 사회가 AI를 사용할 수 있는 매우 넓은 범위에 합의하되, 그 범위 내에서 개별 사용자에게 많은 재량권을 부여하는 것이 중요하다고 생각합니다. 궁극적인 목표는 각 기관이 이러한 넓은 범위가 무엇인지에 대해 합의하는 것이며, 단기적으로는 외부의 의견을 수렴하기 위한 실험을 진행할 계획입니다. 세계 각국의 기관들은 AGI에 대한 복잡한 결정에 대비하기 위해 추가적인 역량과 경험을 강화해야 할 것입니다.
제품의 '기본 설정'은 상당히 제한적일 가능성이 높지만, 사용자가 사용 중인 AI의 동작을 쉽게 변경할 수 있도록 할 계획입니다. Facebook은 개인이 스스로 결정을 내릴 수 있는 권한을 부여하고 다양한 아이디어의 고유한 힘을 믿습니다.
모델이 더욱 강력해짐에 따라 새로운 정렬 기술을 개발해야 하며, 현재 기술이 실패하는 시점을 파악하기 위한 테스트도 진행해야 합니다. 단기적으로는 AI를 활용해 인간이 더 복잡한 모델의 결과를 평가하고 복잡한 시스템을 모니터링하는 데 도움을 주고, 장기적으로는 AI를 활용해 더 나은 정렬 기술을 위한 새로운 아이디어를 도출하는 데 도움을 줄 계획입니다.
중요한 것은 AI의 안전과 기능을 함께 발전시켜야 한다는 점입니다. 이 두 가지를 따로 떼어놓고 이야기하는 것은 잘못된 이분법이며, 여러 가지 면에서 상호 연관되어 있습니다. 최고의 안전 작업은 가장 유능한 모델과 함께 작업함으로써 이루어졌습니다. 즉, 안전과 역량 발전의 비율을 높이는 것이 중요합니다.
셋째, 이러한 시스템을 어떻게 관리할 것인지, 시스템에서 창출되는 혜택을 어떻게 공정하게 분배할 것인지, 접근 권한을 어떻게 공정하게 공유할 것인지 등 세 가지 핵심 질문에 대한 전 세계적인 논의가 이루어지기를 바랍니다.
이 세 가지 영역 외에도, 저희는 인센티브와 좋은 결과를 연계하는 방식으로 구조를 설정하려고 노력해 왔습니다. 저희는 헌장에 다른 조직이 AGI 개발 후기 단계에서 경쟁하는 대신 안전을 발전시킬 수 있도록 지원한다는 조항을 두고 있습니다. 우리는 주주들이 얻을 수 있는 수익에 상한선을 두어, 잠재적으로 재앙을 초래할 수 있는 위험을 무릅쓰고 무모하게 가치를 창출하려는 동기를 부여하지 않도록 하고 있습니다(물론 사회와 이익을 공유할 수 있는 방법으로도). 저희는 안전을 위해 필요한 경우 주주에 대한 지분 의무를 취소하고 세계에서 가장 포괄적인 UBI 실험을 후원하는 등 인류의 이익을 위해 운영할 수 있는 비영리 단체를 운영하고 있으며, 이 단체는 모든 영리 이익보다 우선할 수 있습니다.
저희는 인센티브와 좋은 결과를 연계하는 방식으로 구조를 설정하려고 노력했습니다.
저희와 같은 노력은 새로운 시스템을 출시하기 전에 독립적인 감사를 받는 것이 중요하다고 생각하며, 이에 대해서는 올해 후반에 더 자세히 설명할 예정입니다. 향후 시스템 훈련을 시작하기 전에 독립적인 검토를 받고, 새로운 모델을 만드는 데 사용되는 컴퓨팅의 증가 속도를 제한하는 데 동의하는 것이 어느 시점에서는 중요할 수 있습니다. 학습 실행을 중단하거나, 모델을 출시해도 안전하다고 판단하거나, 모델을 실제 사용에서 제외해야 하는 시점에 대한 공개 표준이 중요하다고 생각합니다. 마지막으로, 세계 주요 정부가 일정 규모 이상의 훈련 실행에 대한 인사이트를 확보하는 것이 중요하다고 생각합니다.
장기적 관점
유니티는 인류의 미래는 인류가 결정해야 하며, 진행 상황에 대한 정보를 대중과 공유하는 것이 중요하다고 믿습니다. AGI를 구축하려는 모든 노력에 대한 면밀한 조사와 주요 결정에 대한 대중의 협의가 있어야 합니다.
첫 번째 AGI는 지능의 연속선상에 있는 한 지점에 불과할 것입니다. 그 이후에도 지난 10년 동안 보아온 발전 속도를 장기간 유지할 수 있을 것으로 예상됩니다. 이것이 사실이라면 세상은 지금과는 매우 달라질 수 있으며, 그 위험은 엄청날 수 있습니다. 잘못 조정된 초지능 AGI는 전 세계에 심각한 해를 끼칠 수 있으며, 결정적인 초지능을 가진 독재 정권도 그렇게 할 수 있습니다.
과학을 가속화할 수 있는 AI는 생각해 볼 가치가 있는 특별한 경우이며, 어쩌면 다른 모든 것보다 더 영향력이 클 수도 있습니다. 자체적으로 발전을 가속화할 수 있는 능력을 갖춘 인공지능이 등장하면 놀라울 정도로 빠르게 큰 변화가 일어날 수 있습니다(전환이 느리게 시작되더라도 최종 단계에서는 상당히 빠르게 진행될 것으로 예상됩니다). 우리는 느리게 이륙하는 것이 더 안전하다고 생각하며, 중요한 시점에 속도를 늦추기 위한 AGI 노력 간의 조정이 중요할 것입니다(기술 조정 문제를 해결하기 위해 이렇게 할 필요가 없는 세상에서도 사회가 적응할 충분한 시간을 주기 위해 속도를 늦추는 것이 중요할 수 있습니다).
초지능이 있는 세상으로의 성공적인 전환은 아마도 인류 역사상 가장 중요하고 희망적이면서도 두려운 프로젝트일 것입니다. 성공이 보장되는 것은 아니며, 그 위험(무한한 단점과 무한한 장점)이 우리 모두를 단결하게 만들 것입니다.
우리는 인류가 아직 완전히 상상할 수 없을 정도로 번영하는 세상을 상상할 수 있습니다. 우리는 그러한 번영에 부합하는 AGI가 세상에 기여하기를 희망합니다.
각주
1. 예를 들어, AGI를 만드는 데 엄청난 양의 컴퓨팅이 필요하고 따라서 누가 작업하고 있는지 전 세계가 알게 될 것 같고, 초진화된 RL 에이전트가 서로 경쟁하며 우리가 실제로 관찰할 수 없는 방식으로 지능을 진화시킨다는 원래의 개념은 원래 생각보다 가능성이 적고, 인류의 집단적 선호도와 산출물을 통해 학습할 수 있는 사전 학습된 언어 모델에서 이렇게 많은 진전을 이룰 것이라고는 거의 아무도 예측하지 못한 것 등, 우리는 이전에 예상했던 것에 비해 많은 선물을 받은 것 같습니다.
AGI는 조만간 또는 먼 미래에 실현될 수 있으며, 초기 AGI에서 더 강력한 후속 시스템으로의 도약 속도는 느릴 수도 있고 빠를 수도 있습니다. 많은 사람들이 이 2×2 행렬에서 가장 안전한 사분면은 짧은 타임라인과 느린 이륙 속도라고 생각합니다. 타임라인이 짧을수록 조율이 용이하고 컴퓨팅 오버행이 적어 이륙 속도가 느려질 가능성이 높으며, 이륙 속도가 느려지면 안전 문제를 해결하는 방법과 적응 방법을 경험적으로 파악할 시간이 더 많이 주어지기 때문입니다. ︎
예를 들어, 처음 OpenAI를 시작했을 때만 해도 확장성이 지금처럼 중요할 것이라고는 예상하지 못했습니다. 확장성이 중요해질 것이라는 사실을 깨달았을 때, 비영리 단체로서의 사명을 달성하기 위해 충분한 자금을 모금할 수 없는 기존 구조가 작동하지 않을 것이라는 사실도 깨달았고, 새로운 구조를 고안했습니다.
또 다른 예로, 개방성에 대한 기존의 생각이 틀렸다고 판단하여 모든 것을 공개해야 한다는 생각에서(일부 기능을 오픈소스화하고 있으며 앞으로 더 많은 기능을 오픈소스화할 예정입니다!) 시스템에 대한 접근과 혜택을 안전하게 공유할 수 있는 방법을 찾아야 한다는 생각으로 방향을 선회했습니다. 저희는 여전히 사회가 무슨 일이 일어나고 있는지 이해함으로써 얻을 수 있는 이점이 매우 크며, 그러한 이해를 가능하게 하는 것이 사회가 공동으로 원하는 것을 구축하는 가장 좋은 방법이라고 믿습니다(물론 여기에는 많은 뉘앙스와 갈등이 존재합니다). ︎
감사의 말
이 글의 초안을 검토해 주신 Brian Chesky, Paul Christiano, Jack Clark, Holden Karnofsky, Tasha McCauley, Nate Soares, Kevin Scott, Brad Smith, Helen Toner, Allan Dafoe, 그리고 OpenAI 팀에게 감사드립니다.
#ai #openai #chatgpt
