[기고 소식]김용덕 변리사, 인공지능신문 16회차 등재
아이피렉스 특허법률사무소 김용덕 변리사
by
Jul 23. 2025
“GUI 상에서 직접 행동하는 AI”… 오픈AI의 멀티모달 GUI 상호작용 특허 분석 (16)
안녕하세요. 아이피렉스 특허법률사무소입니다.
아이피렉스 특허법률사무소의 김용덕 변리사가 AI 전문 언론 인공지능신문(AI타임스)에 연재 중인 ‘오픈AI 특허 분석’ 시리즈의 제16회 기고문이 게재되었습니다.
이번 기고문에서는 오픈AI의 GUI 상호작용 특허(미국 특허 제12051205호)를 중심으로, 텍스트와 이미지가 결합된 입력을 기반으로 GUI 환경에서 직접 동작하고 시각적 응답을 제공하는 멀티모달 LLM 인터페이스 기술을 분석했습니다.
오픈AI 특허의 핵심: GUI 자동화로 확장되는 멀티모달 AI
기존의 대형언어모델(LLM)은 텍스트 중심의 입력과 응답에 집중되어 있었습니다. 하지만 이 특허는 이미지 내 특정 위치를 인식하고, 해당 위치를 시각적으로 강조하거나, 실제 클릭·저장과 같은 GUI 상의 액션까지 수행하는 혁신적인 상호작용 방식을 구현합니다.
예를 들어, 사용자가 이미지와 함께 “강아지에게 모자를 씌워줘”라는 명령을 입력하면, 모델은 이미지 내 강아지의 위치를 추론해 해당 영역에 모자를 삽입합니다. 또는 “문서를 저장해줘”라는 요청에 대해, 모델이 직접 ‘저장 버튼’을 찾아 강조 표시를 하거나, 아예 저장 동작을 실행할 수 있는 구조입니다.
기술의 작동 방식
멀티모달 입력(이미지 + 텍스트)을 분석해 모델이 위치 정보를 좌표나 토큰 형태로 추출하고, 이 정보를 기반으로 이미지 상에 **강조 표시(emphasis indicator)**를 생성하거나 GUI 상 동작을 직접 수행합니다.
강조 방식은 고정된 위치 표시를 넘어서, 손가락 제스처와 같은 연속적인 강조 표현, 색상 변화, 흐림 처리 등 다양한 시각 효과를 포함할 수 있습니다. 예시로 제시된 체스판 이미지에서는 모델이 이동 가능한 위치를 좌표로 파악한 뒤, 해당 영역을 직접 커서로 표시합니다.
활용 가능 분야
오픈AI의 이 특허는 접근성 기술, 이미지 편집 소프트웨어, 대화형 가상 비서, 인터랙티브 교육 콘텐츠 등 다양한 분야에서 다음과 같이 실질적인 활용이 가능합니다.
- 접근성 향상: 시각 장애인을 위한 시각적 안내 시스템 - 디자인·문서 편집 도구: GUI를 직접 제어하며 시각 요소 자동 생성
- 인터랙티브 교육 플랫폼: 이미지 기반 지식 응답 시스템
- AI 비서: 클릭·드래그 등 실제 GUI 조작을 수행하는 개인화 에이전트
이 특허는 기존 언어 모델 기반 AI가 단순히 말로 답하는 것을 넘어서 ‘화면 위에서 행동하는 AI’로 진화하는 과정의 핵심을 보여줍니다. 향후 챗GPT와 같은 생성형 AI 도구들이 이미지나 GUI와 직접 상호작용하는 흐름 속에서, 이 기술은 멀티모달 인터페이스의 새로운 기준이 될 것으로 기대됩니다.
아이피렉스 특허법률사무소 김용덕 대표 변리사