AI, 또 한번의 혁신 "Computer Use"
Claude에서 Computer Use 라는 놀라운 기능을 선보였다. (출처 : 앤트로픽)
앤트로픽에서 새로운 업데이트를 발표했습니다. 컴퓨터 사용 (Computer Use)이라는 기능인데요. 생성형 AI가 이렇게 또 한 번 혁신하는군요.
기존의 AI는 서비스 툴 안에서 사용하게 됩니다. 해당 서비스 내에서 질문하고 대답합니다. 이미지나 영상 그리고 오디오로 확장한 멀티 모달로 확장할 수는 있었죠.
하지만 이제는 AI가 사람이 실제 컴퓨터를 쓰는 방식을 그대로 모방해서 어떤 미션을 수행할 수 있게 되었습니다. 말 그대로 AI가 컴퓨터를 명령에 따라 조작하는 거죠.
Claude의 Computer Use 기능은 아직은 베타 버젼이지만 앞으로의 가능성은 엄청납니다.
오늘 수요레터에서는 Claude에서 소개한 Computer Use의 기능 데모와 의미에 대해서 정리해 보겠습니다.
Claude 사용 화면. Claude 3.5 Sonnet (New)라고 새로운 기능이 업데이트 되었음을 보여준다. 오늘 소개할 Computer Use는 개발자용 API 만 오픈한 상태이다.
Computer Use 란 무엇인가?
사람이 컴퓨터를 이용하는 방식을 그대로 AI가 수행하는 기능입니다.
화면을 보고, 커서를 움직이고, 버튼을 클릭하고, 텍스트를 입력하는 방식을 사람이 직접 하지 않고, 그냥 Claude를 통해서 지시할 수 있는 거죠.
OpenAI 나 Goolge에서도 관련된 기능을 준비 중인 것으로 알고 있는데, Claude가 먼저 선수를 쳤습니다.
아직은 실험 단계이고 제약된 환경에서만 효과를 보인다고 앤트로픽은 밝히고 있는데요.
현재는 개발자의 피드백을 얻기 위해서 API만을 공개한 상태이고, 시간이 지나면서 아마 빠르게 업데이트되지 않을까 생각합니다.
그리고 여러 서비스 기업과도 Computer Use 기능을 테스트해 보고 있다고 하는데요. Asana, Canva, The Browser Company 같은 서비스들입니다.
앤트로픽에서는 Claude의 Computer Use에 대해서 총 3가지 데모를 소개했는데요.
코딩, 업무 수행, 업무 자동화 이렇게 3가지 입니다. 영상을 보면 기존에 AI를 사용하는 방식과는 전혀 다르다는 것을 볼 수 있는데요. 마치 진짜 사람 조수를 한 명 두고, 그 조수에게 일을 시키는 것과 같은 느낌입니다.
그중에서 업무 자동화 부분의 데모를 간단히 소개해 드릴게요.
데모
먼저 데모 환경을 설명합니다. 해당 영상은 실제 Claude가 수행한 장면을 녹화한 것이라고 하구요. 다만 아직은 베타 버젼이라 해당 기능의 장점을 강조하기 위해서 환경을 제한하고 조절된 상태로 진행했다고 합니다.
어떤 고객이 특정 양식을 보내주고 내용을 채워서 보내달라고 하는 요청 사항을 Claude가 실제로 어떻게 처리하는지를 보여주는 데모인데요.
Claude에게 이렇게 명령합니다.
“ Ant Equipment Co 라는 회사에서 온 요청 항목들을 채워주는데, 스프레드시트에 있는
내용을 이용하거나 아니면 벤더 포탈에서 찾아서 채워줘. 이 두개의 창을 통해서 항목을
확인하고 완료해줘 “
실제로 회사에서 하는 업무의 형태와 정말 똑같지 않습니까? 이런 지시를 Claude가 처리해 나갑니다.
화면을 보면 왼쪽에 스프레드시트가 있고, 관련된 정보를 찾을 수 있는 벤터 포탈이 탭으로 있습니다. 오른쪽 창에는 고객이 요청한 기입 항목이 있구요. 왼쪽의 내용을 확인해서 오른쪽의 항목에 맞춰 입력하고 제출하는 미션입니다.
왼쪽 사이드바에서는 Claude가 동작하는 상태를 표시해 주고 있습니다.
상단에 미션을 명령한 내용이 보이고, 그 아래에는 해당 명령을 Claude가 수행해 나가는 과정을 설명하고 있습니다.
요청한 미션을 수행하겠다고 Claude가 말하고, 화면을 캡쳐합니다.
Claude는 스크린샷된 이미지를 분석해 나가는 과정을 통해 상황을 이해하고 처리해 나간다고 볼 수 있죠.
스프레드시트 화면을 보니 해당되는 정보를 찾지 못했다고 Claude가 말합니다.
그래서 벤더 포탈 탭을 누르겠다고 말하고는 그 다음 액션을 진행합니다.
Claude가 죄표가 표시하는데, 화면에서 해당 좌표 위치로 마우스 커스를 이동시키겠다고 하는 겁니다. Computer Use 기능은 AI가 사용자의 컴퓨터를 실제로 조절할 수 있도록 연동되어 있습니다. AI가 명령에 따라 컴퓨터를 직접 조정하는 거죠.
그리고는 포탈 화면을 다시 스크린캡쳐 하고 내용을 분석합니다.
해당 포탈에서 'Ant Equipment Co' 라는 회사의 정보를 찾기 위해, 검색창에 해당 기업의 이름을 타이핑 합니다. 타이핑하는 과정도 Claude가 직접 진행하고 있다는 것을 기억해야 합니다.
포탈 창에서 검색 결과에 따라 그 기업의 회사의 내용이 나오고, Claude가 페이지 다운을 해가면서 추가적인 정보를 검색합니다. 검색한다는 표현은 정확하게는 해당 화면을 스크린캡쳐하고 이미지를 분석하는 과정이라고 볼 수 있습니다.
그리고는 오른 쪽에 있는 요청된 입력 창에 필요한 내용을 Claude가 입력합니다.
입력이 완료되었고 최종적으로 Claude가 제출까지 완료합니다.
대단하지 않습니까? 정말 사람이 컴퓨터를 사용해서 작업하는 방식과 놀랍도록 유사합니다.
한계와 전망
물론 아직은 많은 한계가 있어 보입니다.
무엇보다 이런 미션을 위해서는 엄청난 데이터가 필요합니다. 현재는 제한된 스크린샷으로만 분석해서 결과를 내는 수준인데, 실제 사람이 하는 것처럼 동작하기 위해서는 동영상과 같은 많은 프레임을 연속적으로 빠르게 분석해야 하는 부담이 있죠.
또 스크롤, 드래그, 확대/축소 처럼 사람이 손쉽게 하는 동작들은 Claude가 수행하기에 많은 개선이 필요하다고 얘기하고 있습니다.
결국은 성능 개선과 비용의 문제입니다. 그래서 지금처럼 엄청난 속도로 AI가 발전하는 상황으로 볼 때 어쩌면 아주 빠른 시일 내에 실제로 기업이나 일반인이 사용할 수 있는 버젼의 제품이 나올 수도 있을 것 같습니다.
또 하나는 악용의 염려입니다. 앤트로픽도 스스로 밝힌것처럼 Computer Use 기능은 스팸이나 사기 등에 악용될 가능성이 아주 높습니다. 그래서 매우 적극적인 안전 조치를 마련하고 있다고 앤트로픽은 얘기하고 있습니다.
하지만 늘 그래왔듯이 어떤 기술이라 하더라도 그것을 악용하려는 시도는 항상 일어나게 마련이죠. 근본적으로 막을 수는 없을 겁니다.
아무튼 이번 Claude가 발표한 Computer Use 기능은 앞으로 AI 발전의 큰 이정표가 될 것으로 전망합니다. 거대한 혁신이 펼쳐지고 있습니다. 좋은 의미든 나쁜 의미든 말이죠.
