24년 10월 15일 흠터레스팅 테크 뉴스
AI 텍스트, 인간이 인식하지 못 하는 텍스트 존재 외 3건
항상 시간이나 자원이 부족한 상황에서 무언가를 만들어야 할 일은 끝없이 쌓여 있습니다. 소프트웨어 개발에서 흔히 하는 착각 중 하나는 더 많은 결과물을 더 빠르게 만들어야 한다는 생각입니다. 할 일이 너무 많으면, 당연히 빨리 처리하는 게 도움이 될 것 같죠? 하지만 제대로 된 방향을 잡으면, 우리의 진짜 목표는 더 많이 만드는 것이 아니라 덜 만드는 것임을 알게 됩니다. 산출물을 최소화하고, 대신 결과와 영향력을 극대화하는 것이 중요합니다. 결국 우리의 역할은 더 적은 것을 만들어 더 큰 성과와 영향을 내는 것입니다. 그 핵심은 우리가 해결하려는 문제를 겪고 있는 사람들의 니즈를 세심하게 파악하는 데 있습니다.
- 제프 패튼, 유저 스토리 매핑
There’s always more to build than we have time or resources to build—always. One of the common misconceptions in software development is that we’re trying to get more output faster. Because it would make sense that if there was too much to do, doing it faster would help, right? But if you get the game right, you will realize that your job is not to build more—it’s to build less. Minimize output, and maximize outcome and impact. At the end of the day, your job is to minimize output, and maximize outcome and impact. The trick is that you’ve got to pay close attention to the people whose problems you’re trying to solve.
- Patton, Jeff; Economy, Peter. User Story Mapping
(1) AI 텍스트, 인간이 보지 못하지만 AI는 인식할 수 있는 텍스트가 존재하여 이를 악용할 수 있음이 밝혀져
- 최근 연구에 따르면, 이는 유니코드 표준의 특성에서 비롯된 것으로, 보이지 않는 문자를 통해 공격자들이 악성 명령을 챗봇에 숨기거나 기밀 데이터를 외부로 유출할 수 있게 만듬
- 유니코드 취약점: 유니코드 표준에서 보이지 않는 문자 블록이 존재하는데, 이 문자는 브라우저에서는 보이지 않지만, AI 챗봇은 이를 읽고 처리할 수 있습니다. 이를 통해 민감한 정보나 명령이 숨겨질 수 있음
- 연구자 Johann Rehberger는 Microsoft 365 Copilot을 대상으로 ASCII 스머글링 기법을 사용해, 이메일에서 민감한 정보를 찾아내고 이를 보이지 않는 텍스트로 URL에 추가하는 방식의 공격을 시연 → 사용자는 이 URL을 클릭해 정보를 외부 서버로 유출
- 이번 공격의 핵심은 프롬프트 인젝션 기술로, 챗봇의 프롬프트에 외부에서 유입된 데이터를 명령으로 변환하여 실행하도록 유도하는 방법 → 이 기술을 통해 챗봇이 사용자의 이메일에서 데이터를 추출하고 이를 URL에 숨길 수 있었음
- Anthropic의 Claude, OpenAI의 GPT, Microsoft Copilot 등 여러 AI 모델이 이 보이지 않는 텍스트를 이해하고 처리할 수 있으며, 이로 인해 데이터 유출이나 명령 실행이 가능해질 수 있음
- 보이지 않는 문자는 스테가노그래피(정보 은닉 기법)를 활용한 AI 공격의 새로운 경로를 열었으며, 이 문제는 앞으로도 AI 보안에서 중요한 이슈로 남을 것으로 예상
(2) 많은 사람들이 불완전한 정보만을 받았을 때도 의사결정에 충분하다고 판단하는 경향이 강하다는 연구 결과
- 더닝-크루거 효과와 유사하게, 사람들은 자신의 지식이 부족할 때조차도 그 한계를 인식하지 못하는 경향이 있다는 이론과 연관
- 연구 배경: 연구자들은 사람들이 불완전하고 편향된 정보를 받았을 때도 자신이 충분한 정보를 가졌다고 느끼는 경향을 조사 → 실험에서 피실험자들에게 의도적으로 일부 정보만 제공한 후, 그들이 얼마나 자신감 있게 결정을 내리는지 관찰
- 정보 불충분에도 자신감 유지: 예를 들어, 학교 통폐합에 관한 시나리오에서, 통폐합을 찬성하거나 반대하는 정보만 받은 참가자들은 각각의 입장에 대해 거의 극단적인 비율로 강한 확신 → 반면, 모든 정보를 제공받은 통제 집단에서는 찬성과 반대가 비슷하게 나왔음
- 현재 미디어 환경에서의 문제점: 연구자들은 사람들이 부분적인 정보에만 노출되면 잘못된 결정을 내리기 쉽고, 이러한 현상은 오늘날의 미디어 환경에서 더욱 심각하다고 경고 → 많은 미디어가 의도적으로 편향된 정보를 제공하거나, 잘못된 정보를 확산시키는 경우가 있기 때문
(3) 뉴욕 판사, 법정에서 AI로 잘못된 손해 배상 추정한 전문가에 대해 비판
- 부동산 신탁 관련 소송에서 전문가 Charles Ranson이 Microsoft Copilot을 사용하여 손해 배상을 추정했으나, 해당 계산은 부정확했고 판사는 이를 문제 삼았음
- AI 사용의 신뢰성 문제로 인해 증거 제출 전에 AI 사용을 공개해야 한다고 주장하며, AI의 무분별한 사용이 법 체계를 혼란에 빠뜨릴 수 있다고 경고
- Copilot 사용 논란: Ranson은 챗봇을 통해 손해 배상 금액을 계산했으나, 부동산에 대한 전문 지식 부족으로 인해 계산이 부정확했고, 팬데믹 영향을 고려하지 않는 등 중요한 요소를 간과
- 판사는 Copilot이 동일한 계산에 대해 여러 다른 결과를 도출하는 등 신뢰할 수 없는 점을 지적하며, AI의 계산은 법정에서 사용하기에는 신뢰성이 떨어진다고 결론
- AI의 사용이 급증하고 있지만, 판사는 AI가 생성한 결과물이 법적으로 허용될 수 있는지는 별개의 문제이며, 법적 절차에서 AI 사용을 엄격히 규제할 필요가 있음을 강조
(4) 어도비, AI 비디오 생성 기능 출시
- Adobe가 2024년 10월 14일에 Firefly AI 플랫폼의 비디오 생성 기능을 새롭게 출시
- 새로운 기능 출시: Firefly 플랫폼에서 텍스트 또는 이미지를 기반으로 5초 길이의 비디오를 생성할 수 있는 기능이 추가
- Premiere Pro와의 통합: Premiere Pro 베타 버전에서는 Firefly의 Generative Extend 기능을 통해 기존 영상 클립을 2초까지 연장할 수 있음
- Adobe는 AI 비디오 생성보다는 AI 기반 편집 기능에 더 중점을 두고 있으며, 이는 사용자층의 요구를 반영한 것 → Runway 및 OpenAI의 AI 비디오 모델에 비해 비디오 생성 기능은 다소 덜 인상적이지만, 편집 관련 기능이 더 실용적
- Firefly는 상업적으로 안전한 미디어 생성을 목표로 하며, 폭력, 정치적 인물, 저작권 보호 자료 등의 콘텐츠는 생성하지 않도록 설계
- AI-generated 워터마크: 생성된 비디오에는 자동으로 AI 생성 워터마크가 메타데이터에 삽입되어, AI 도구로 검출 가능한 방식으로 처리
24
