Threat Intelligence

바이브 코딩의 이면, 바이브 해킹

Threat Intelligence by Anthropic

https://www.youtube.com/watch?v=EsCNkDrIGCw
[ Vibe Hacking ]

8월말에 Anthropic 유투브 채널에 Threat Intelligence라는 굉장히 흥미로운 주제의 영상이 올라왔습니다. 언뜻 AI로 인한 위협이라고 하면, 정말 어마어마한 AGI가 나타난 먼 미래로 생각하는 경향이 있는데, 사실은 먼 미래로 가지 않아도 지금 이미 굉장히 많은 cybercrime에 LLM들이 활용 중에 있다고 합니다. 이 유투브를 통해 해당 사례들을 공유함으로써 이미 알려진 사례는 타사에서도 효율적으로 방어할 수 있도록 하고, Anthropic 또한 커뮤니티의 힘을 모아서 함께 대응하자는 메시지를 띄우는 역할까지 생각하면서 이번 영상을 만들었다고 합니다.

LLM은 기술적인, 문화적인 수많은 barrier를 없애는 긍정적인 역할이 항상 있었는데요, 이런 최신 기술에는 항상 이면(evil twin)이 뒤따르게 마련입니다. 마찬가지로 Vibe Coding이 현재 대세인데, 그 evil twin으로 "Vibe Hacking"이 진행중이라고 합니다. 특별한 해킹 기술 없더라도 나쁜 의도를 갖고 Jailbreaking된 LLM을 cybercrime에 활용하는거죠.

그 활용 범위는 계획 수립에서부터 실제 실행까지 무척 넓습니다. (지금 우리가 Vibe Coding에서 기획에서부터 개발까지 모두 아우르듯이,) 그리고 그 작업량도 무척 많아서, 1명이서 한달에 17개의 조직을 공격하는 사례가 나올 정도라고 합니다.

[ 인상적인 사례들 ]

1. 교회 공격 : 공격 대상은 다양한 영역에 무차별적으로 진행중. 심지어 교회에서 기부자 명단을 탈취하는 경우도 있음.

2. 로맨스 스캠 보조 : 이성의 마음을 보다 쉽게 얻으면서 금전적인 사기를 칠 수 있도록 LLM 활용.

3. 북한 외화벌이 수단 : 가장 놀라운 eye-popping 사례임. 사실 LLM이전에도 북한에서는 고급 기술자들을 훈련하여 remote 취업을 시켜왔음. 그런데, 이제 LLM이 등장하면서, 이제는 영어나 기술을 가르칠 필요 없이 "누구나" 가상 신분을 만들어서 remote 취업을 하고 외화벌이를 하고 있음.

. 특징 : 양질의 일자리에 취업하고 있음. 스타트업, Big Tech 가리지 않고 Fortune 500 거의 모든 회사를 공략하고 있음.

. 일상적인 Small Talk에서 원활히 대응하기 위한 (실제로 미국사람이라면 하지 않을 법한) 질문이 올라옴 : "Muffin이 뭐지?", "Muffin과 Cupcake의 차이는?", "Picnic이 뭐지? 왜 매년 Picnic을 가는거지?"

. 개발에 도움을 받는 것은 당연한데, 업무 평가도 실제로 잘 받는다고 합니다. ^^;;;;

4. 베트남 통신사 공격 사례인데, 여기서는 실제 실행은 사람이 했지만, 계획 수립을 Claude와 함께 했다고 합니다.

* Caveats : Claude의 악/오용 사례를 분석해서 공개할 뿐이지, 이 현상은 모든 LLM에서 벌어지고 있다는 점을 Anthropic에서 명확히 밝히고 있습니다.

[ 일반 대중을 위한 맺음말 ]

LLM은 Cyber Defense와 Cyber Crime에 모두 활용되고 있습니다.

일반 대중들로서는, 만약에 말도 안되게 좋은 제안이 왔다면 Claude와 같은 LLM에게 혹시 이거 사기 아니야?라고 꼭 한번 물어봄으로써 잠재적 위협으로부터 예방하는데에 도움이 될 수 있습니다.