세계무장단체AI활용시험IS'작전포함'소규모단체'극대화'
Global militant groups are experimenting
세계 무장단체 AI 활용 시험 IS '작전 포함' 소규모 단체 '극대화'
전 세계 무장단체에서 AI 활용 기술 시험 경고가 나왔고, 이슬람단체(IS)에는 '작전에 포함‘ 요구가 나오고 소규모 단체가 활동을 ’극대화‘하고 사이버 공격 자동화에 기여할 것으로 보인다.
AP는 “전 세계가 인공지능의 힘을 활용하기 위해 서둘러지는 가운데, 무장 단체들도 정확히 어떻게 활용해야 할지 확신하지 못하더라도 이 기술을 실험하고 있다‘면서 ”극단주의 조직에게 AI는 신규 회원 모집, 현실적인 딥페이크 이미지 제작, 사이버 공격 개선에 강력한 도구가 될 수 있다고 국가안보 전문가와 첩보 기관들이 경고했다“고 14일 보도했다.
지난달 친이슬람국가(IS) 단체 웹사이트에 글을 올린 누군가가 다른 IS 지지자들에게 AI를 작전에 포함시키라고 촉구하면서 "AI의 가장 좋은 점 중 하나는 사용이 매우 쉽다는 것이다"라며 "일부 정보기관은 AI가 모집에 기여할 것이라고 우려한다. 그러니 그들의 악몽을 현실로 만들어 줘"라고 영어로 썼다.
AP는 “IS는 수년 전 이라크와 시리아에서 영토를 점령했으나 현재는 폭력적인 이념을 공유하는 무장 단체들의 분산된 연합체로서 소셜 미디어가 모집과 허위 정보에 강력한 도구가 될 수 있음을 수년 전부터 인식해왔다”면서 “국가안보 전문가들은 이 단체가 AI를 시험하는 것은 놀라운 일이 아니다”고 밝혔다.
무장 단체들에게서 AI 활용은 느슨하게 연계되고 자원이 부족한 극단주의 단체이거나 웹 연결을 가진 개별 악의자에게서 AI가 대규모로 선전이나 딥페이크를 배포하여 영향력을 넓히고 파괴력을 확장하는 데 사용될 수 있다.
미 국가안보국(NSA) 취약점 연구원 출신으로 사이버보안 기업 클리어벡터(ClearVector) CEO인 존 랄리베르테(John Laliberte)는 "어떤 적에게도 AI는 일을 훨씬 쉽게 만들어 준다"며 "AI를 통해 자금이 많지 않은 소규모 그룹도 영향력을 발휘할 수 있다"고 AP에 말했다.
극단주의 단체들이 실험하는 방식에 대해 AP는 “무장 단체들은 ChatGPT와 같은 프로그램이 널리 접근 가능해지자마자 AI를 사용하기 시작했다”면서 “그 이후로 그들은 점점 더 현실감 있는 사진과 영상을 만들기 위해 생성형 AI 프로그램을 사용해왔다”고 밝혔다.
소셜 미디어 알고리즘에 묶여 있을 때, AI는 가짜 콘텐츠로 새로운 추종 신자를 모집하고, 적을 혼란스럽게 하거나 겁주며, 몇 년 전만 해도 상상할 수 없을 정도로 선전을 퍼뜨릴 수 있다.
이런 단체 활동들은 2년 전 이스라엘-하마스 전쟁의 가짜 이미지를 이미 퍼뜨렸다.
AP는 지난달 29일 “폭격으로 파괴된 가자지구의 주택과 파괴된 거리 사진 중에서, 그 중 일부는 극도의 공포로 눈에 띄었고, 피투성이에 버려진 영아들이 비쳤다”면서 “전쟁이 시작된 이후 수백만 번 온라인에서 본 이 이미지들은 인공지능을 사용해 만든 딥페이크이며, 자세히 보면 단서들이 보인다. 이상하게 말린 손가락, 부자연스러운 빛으로 반짝이는 눈 — 모두 디지털 속임수의 징후다”고 보도했다.
차후에 속임수라고 밝혀지더라도 이 이미지들이 만들어진 분노는 너무나 현실적이다.
AP는 “이스라엘-하마스 전쟁 사진들은 AI가 선전 도구로서 살상감 있는 이미지를 만들어내는 데 사용될 가능성을 생생하고 고통스럽게 보여줬다”면서 “전쟁이 시작된 지난달 이후, 소셜 미디어에 퍼진 디지털 조작된 신문들은 사상자에 대한 허위 주장이나 실제로 일어나지 않은 잔혹 행위에 대해 사람들을 속이는 데 사용되고 있다”고 밝혔다.
무장 단체들의 AI 활용은 화학 무기에 기술적 전문성 부족 해결에 유용하게 쓰일 것으로 보인다.
AP는 “AI를 이용해 생물학 기술적으로 부족한 생물학 무기와 화학 무기 생산에 도움을 주려 할 가능성이 있다”면서 “이 위험은 올해 초 발표된 국토안보부의 업데이트된 국토 위협 평가에 포함됐다”고 밝혔다.
하마스 전쟁에서 상당한 전파력을 보인 온라인에 퍼진 기형적 사진에는 폭격으로 파괴된 건물 안에 피투성이가 되고 버려진 아기들이 묘사됐고, 이미지들은 통한 분노와 분열 생성으로 전쟁의 실제 참상을 가렸다.
AP는 “비슷한 일이 작년에 러시아의 한 콘서트 장소에서 IS 계열 조직이 주장한 공격으로 거의 140명이 사망한 사건도 있었다”면서 “총격 사건 이후 며칠 동안, AI가 제작한 선전 영상이 토론 게시판과 소셜 미디어에서 널리 퍼져 새로운 인력을 모색했다”고 밝혔다.
AP는 “AI의 역할은 IS가 지도자들이 성경을 낭독하는 딥페이크 오디오 녹음을 만들었고, AI를 이용해 메시지를 여러 언어로 빠르게 번역했다”며 “IS는 경전 구절을 낭송하는 딥페이크 오디오 녹음을 제작했다”고 극단주의 활동을 추적하며 IS의 AI 사용 변화를 조사한 연구소 연구진을 인용해 보도했다.
전 CIA 요원이자 현재 미 연방 정부와 협력하는 사이버보안 회사 다크트레이스 페더럴의 CEO인 마커스 파울러는 “이러한 단체들은 중국 러시아 이란에 뒤처져 있지만 AI의 더 정교한 활용을 여전히 ‘야망적’으로 보고 있다”면서 “하지만 위험이 너무 커서 무시할 수 없으며, 저렴하고 강력한 AI의 사용이 확대됨에 따라 더 커질 가능성이 크다”고 AP에 말했다.
해커들은 이미 합성 오디오와 비디오를 이용해 피싱 캠페인을 벌이고 있다.
이런 해커들의 AI 활용에 대해 AP는 “고위 기업이나 정부 지도자를 사칭해 민감한 네트워크에 접근하려는 시도이다”며 “AI를 이용해 악성 코드를 작성하거나 사이버 공격의 일부 측면을 자동화할 수도 있다”고 밝혔다.
하마스 전쟁에서 온라인에 퍼진 그런 사진에는 폭격으로 파괴된 건물 안에 피투성이가 되고 버려진 아기들이 묘사되어 있다.
이 이미지들은 분노와 분열을 불러일으켰고, 전쟁의 실제 참상을 가렸으며, 중동의 무장 폭력 단체들은 이 사진들을 이용해 새 회원을 모집했다.
AP는 “비슷한 일이 작년에 러시아의 한 콘서트 장소에서 IS 계열 조직이 주장한 공격으로 거의 140명이 사망한 사건도 있었다”면서 “총격 사건 이후 며칠 동안, AI가 제작한 선전 영상이 토론 게시판과 소셜 미디어에서 널리 퍼져 새로운 인력을 모색했다”고 밝혔다.
AP는 “AI의 역할은 IS가 지도자들이 성경을 낭독하는 딥페이크 오디오 녹음을 만들었고, AI를 이용해 메시지를 여러 언어로 빠르게 번역했다”며 “IS는 경전 구절을 낭송하는 딥페이크 오디오 녹음을 제작했다”고 극단주의 활동을 추적하며 IS의 AI 사용 변화를 조사한 연구소 연구진을 인용해 보도했다.
전 CIA 요원이자 현재 미 연방 정부와 협력하는 사이버보안 회사 다크트레이스 페더럴의 CEO인 마커스 파울러는 “이러한 단체들은 중국 러시아 이란에 뒤처져 있지만 AI의 더 정교한 활용을 여전히 ‘야망적’으로 보고 있다”면서 “하지만 위험이 너무 커서 무시할 수 없으며, 저렴하고 강력한 AI의 사용이 확대됨에 따라 더 커질 가능성이 크다”고 AP에 말했다.
해커들은 이미 합성 오디오와 비디오를 이용해 피싱 캠페인을 벌이고 있다.
이런 해커들의 AI 활용에 대해 AP는 “고위 기업이나 정부 지도자를 사칭해 민감한 네트워크에 접근하려는 시도이다”며 “AI를 이용해 악성 코드를 작성하거나 사이버 공격의 일부 측면을 자동화할 수도 있다”고 밝혔다.
긴급 대응 행동에 대해 미 상원 정보위원회 마크 워너 의원(민주당)은 "2022년 말 ChatGPT가 공개된 이후로, 대중이 보여준 생성형 AI에 대한 관심과 실험이 다양한 악의적 행위자에게도 적용될 것임이 분명해졌다"면서 “ 미국이 AI 개발자들이 극단주의자, 범죄 해커, 외국 스파이 등 악의적인 행위자들이 자사 제품을 어떻게 사용하는지 정보를 쉽게 공유할 수 있도록 해야 한다”고 AP에 말했다.
기존의 온라인에서 떠도는 대부분의 전쟁 관련 허위 사진과 주장들은 AI가 필요 없이 더 전통적인 출처에서 나왔으나 이제 기술 발전이 보편화되고 감독이 거의 없어진 상태로 변했다.
샌프란시스코와 파리에 본사를 둔 기술기업 CREOpoint의 CEO 장-클로드 골든스타인은 AI를 활용해 온라인 주장의 타당성을 평가하면서 "상황은 나아지기 전에 훨씬 더 나빠질 것이다“며 ”회사는 가자지구에서 가장 많이 바이럴된 딥페이크 데이터베이스를 만들었고, 여기에는 사진, 비디오, 오디오 등에서 생성형 AI가 지금껏 여러분이 본 적 없는 격화가 될 것이다"고 AP에 밝혔다.
그에 의하면 다른 분쟁이나 재난의 사진이 재활용되어 새것처럼 넘어가기도 하며, 다른 곳에서는 생성형 AI 프로그램이 처음부터 이미지를 만들어내기도 했다.
예를 들어 하마스 분쟁 초기에 바이럴된 폭격 잔해 속에서 아기가 우는 모습이 그렇다.
하마스 전쟁과 우크라이나 전쟁에서 AI가 또 다른 역공작 무기가 될 가능성이 뚜렷해졌고, 미래의 분쟁, 선거, 그리고 다른 큰 사건들에서 앞으로 어떤 일이 벌어질지 엿볼 수 있게 됐다.
전쟁에서 허위 정보를 추적해온 비영리 단체 디지털 증오 대응센터(Center for Countering Digital Hate)의 CEO 임란 아흐메드는 “딥페이크 아기든, 다른 분쟁에서 나온 실제 영아 이미지든, 시청자에게 미치는 감정적 충격은 같다”면서 “이미지가 더 혐오스러울수록 사용자는 그것을 기억하고 공유할 가능성이 높아지며, 이는 의도치 않게 허위 정보를 더 확산시킬 수 있다”고 밝혔다.
그는 "사람들은 ‘지금 이 아기 사진을 봐라’고 말하고 있으며, 허위 정보는 여러분이 그것에 참여하도록 설계된 것이다"고 AP에 말했다.
2022년 러시아가 우크라이나 침공 이후에 기만적 AI 생성 콘텐츠가 확산되기 시작했으며, 촉에는 한 영상이 우크라이나 젤렌스키 대통령이 우크라이나인들에게 항복을 명령하는 장면이 담긴 것으로 퍼트렸다.
AP는 “이러한 주장들은 지난주까지도 계속 돌고 있다”면서 “쉽게 반박되는 허위 정보일지라도 얼마나 끈질길 수 있는지를 보여준다”고 밝혔다.
AP는 이어 “새로운 분쟁이나 선거 시즌마다 허위 정보 유통자들이 최신 AI 발전을 시연할 기회를 제공한다”면서 “이로 인해 많은 AI 전문가와 정치학자들은 내년에 미국, 인도, 파키스탄, 우크라이나, 대만, 인도네시아, 멕시코 등 여러 국가가 주요 선거를 치를 때 위험성을 경고하고 있다”고 밝혔다.
AI와 소셜 미디어가 미국 유권자들에게 거짓말을 퍼뜨릴 수 있다는 위험은 워싱턴의 양당 입법자들을 우려하게 했다.
최근 딥페이크 기술의 위험성에 관한 청문회에서, 민주당 소속 미국 하원의원 게리 코놀리는 미국이 “다른 AI에 대응하기 위한 AI 도구 개발에 투자해야 한다”며 "우리 국가는 이 문제를 제대로 해야 한다"고 말했다.
전 세계 여러 스타트업 기술 기업들이 딥페이크를 탐지하거나, 이미지에 워터마크를 붙여 출처를 증명하거나, AI가 삽입했을 수 있는 허위 주장을 검증하기 위해 텍스트를 스캔하는 새로운 프로그램을 개발 중이다.
노르웨이 기업 팩티버스(Factiverse)의 공동 창립자인 마리아 아멜리에(Maria Amelie)는 “다른 AI 프로그램이 도입한 내용의 부정확성이나 편향을 스캔할 수 있는 AI 프로그램을 만들었다”면서 "다음 AI 물결은 다음과 핵심이다. 우리는 어떻게 콘텐츠를 검증할 수 있을까, 또한 어떻게 허위 정보를 감지하고, 텍스트를 분석해 신뢰할 수 있는지 판단할 수 있을까 등이다"고 AP에 말했다.
국방고등연구계획국(DARPA)에서 AI 조작 이미지가 초래하는 국가안보 위협에 대응을 이끄는 컴퓨터 과학자 데이비드 도어만은 “이러한 프로그램은 교육자, 언론인, 금융 분석가 등 허위, 표절, 사기를 근절하려는 이들에게 즉각적인 관심을 끌 것이만, 이 기술은 가능성에도 불구하고 AI를 이용해 거짓말을 하는 사람들은 종종 한 발 앞서 있다”고 AP에 말했다.
현재 버팔로 대학교 교수인 도어만은 “AI 허위정보가 제기하는 정치적·사회적 도전에 효과적으로 대응하려면 더 나은 기술과 규제, 자발적인 산업 표준, 그리고 인터넷 사용자가 진실과 환상을 구분할 수 있도록 돕는 디지털 문해력 프로그램에 대한 광범위한 투자가 필요하다”면서 "우리가 이를 감지하는 도구를 출시할 때마다 적들은 AI를 이용해 그 미세한 증거를 은폐할 수 있다. 탐지하고 이걸 끌어내리려는 시도는 더 이상 해결책이 아니다. 우리는 훨씬 더 큰 해결책이 필요하다"고 밝혔다.
kimjc00@hanmail.net
Global militant groups are experimenting with AI, with IS 'incorporating it into operations', small groups 'maximizing' its efforts
Militant groups around the world are warning of AI-powered technology testing, while the Islamic State (IS) group is demanding its inclusion in operations. Smaller groups appear poised to 'maximize' their activities and contribute to automated cyberattacks.
The Associated Press reported on the 14th that "as the world rushes to harness the power of artificial intelligence, militant groups are also experimenting with the technology, even if they're unsure exactly how to use it." "For extremist groups, AI could be a powerful tool for recruiting new members, creating realistic deepfake images, and improving cyberattacks, national security experts and intelligence agencies warn."
Last month, someone posted on a pro-Islamic State (IS) website urging other IS supporters to incorporate AI into their operations, writing, "One of the best things about AI is how easy it is to use," adding, "Some intelligence agencies are concerned that AI could contribute to recruitment." So make their nightmares come true,” he wrote in English.
The AP said, “IS, which seized territory in Iraq and Syria years ago but is now a decentralized confederation of militant groups sharing a violent ideology, has recognized for years that social media can be a powerful tool for recruitment and disinformation.” “National security experts say it’s not surprising that the group is experimenting with AI.”
The use of AI by militant groups could range from loosely affiliated, under-resourced extremist groups to individual malicious actors with web connections, where AI can be used to distribute propaganda or deepfakes at scale to expand influence and destructive power.
“For any adversary, AI makes things much easier,” John Laliberte, a former National Security Agency vulnerability researcher and now CEO of cybersecurity firm ClearVector, told the AP. “It allows even small, unfunded groups to exert influence.”
Regarding how extremist groups are experimenting, the AP said, “They’re using programs like ChatGPT to make it widely accessible.” “They began using AI as soon as it became possible,” he said, adding, “Since then, they have been using generative AI programs to create increasingly realistic photos and videos.”
When tied to social media algorithms, AI can recruit new followers with fake content, confuse or intimidate enemies, and spread propaganda to a degree unimaginable just a few years ago.
Such groups have already spread fake images from the Israel-Hamas war two years ago.
The Associated Press reported on the 29th of last month, “Among the images of bombed-out homes and destroyed streets in Gaza, some stand out for their sheer horror, showing abandoned babies covered in blood.” “These images, viewed millions of times online since the war began, are deepfakes created using AI, and a closer look reveals clues.” “Fingers curled strangely, eyes glowing with an unnatural light—all are signs of digital deception,” the report said.
Even if these images are later proven to be deceptive, the anger generated by them is all too real.
AP stated, “Photos from the Israel-Hamas war vividly and painfully demonstrate the potential for AI to be used as a propaganda tool to create horrific images,” adding, “Since the war began last month, digitally manipulated newspapers circulating on social media have been used to falsely claim casualties or to deceive people about atrocities that never occurred.”
Military groups’ use of AI could also be useful in addressing the lack of technical expertise in chemical weapons.
AP stated, “There is a possibility that AI could be used to aid in the production of biological and chemical weapons, which are technically insufficient,” adding, “This risk was included in the Department of Homeland Security’s updated homeland threat assessment released earlier this year.”
Demonstrative images that circulated online during the Hamas war, which gained significant traction, depicted bloodied and abandoned babies in bombed-out buildings, and the images, through their generated anger and division, portrayed the very real horrors of war. It was covered up.
The AP reported that “a similar incident occurred last year when nearly 140 people were killed in an attack claimed by an ISIS affiliate at a concert venue in Russia.” “In the days following the shooting, AI-generated propaganda videos were widely circulated on discussion boards and social media, seeking new recruits.”
The AP cited researchers at a research institute that tracks extremist activities and has studied the evolution of ISIS’s use of AI, saying that ISIS created deepfake audio recordings of its leaders reciting scripture and used AI to rapidly translate the messages into multiple languages.
“ISIS created deepfake audio recordings of people reciting scripture,” the AP reported.
“While these groups are behind China, Russia, and Iran, they still view the more sophisticated use of AI as ‘ambitious,’” said Marcus Fowler, a former CIA officer and now CEO of Darktrace Federal, a cybersecurity firm that works with the U.S. federal government.
“But the risks are too great to ignore and are likely to grow as the use of cheap, powerful AI expands,” he told the AP.
Hackers have already been able to exploit synthetic They are conducting phishing campaigns using audio and video.
The AP stated that these hackers are using AI to “impersonate high-ranking business or government leaders to gain access to sensitive networks,” and that “AI can also be used to write malicious code or automate some aspects of cyberattacks.”
Photos circulating online during the Hamas war depict babies abandoned and covered in blood inside bombed-out buildings.
These images have fueled anger and division, obscuring the true horrors of the war, and armed violent groups in the Middle East have used them to recruit new members.
The AP stated that “a similar incident occurred last year when an attack claimed by an ISIS affiliate killed nearly 140 people at a concert venue in Russia. In the days following the shooting, AI-generated propaganda videos were widely circulated on discussion boards and social media, seeking new recruits.”
The AP stated that “the role of AI is such that ISIS created deepfake audio recordings of leaders reciting scripture and used AI to rapidly translate the messages into multiple languages.” The report cited researchers from a research institute that tracked extremist activity and examined the evolution of ISIS's use of AI, saying, "They created deepfake audio recordings."
Marcus Fowler, a former CIA officer and now CEO of Darktrace Federal, a cybersecurity firm that partners with the U.S. federal government, told the AP that while these groups lag behind China, Russia, and Iran, they still view their more sophisticated use of AI as "ambitious." He added, "The risks are too great to ignore, and they are likely to grow as the use of cheap and powerful AI expands."
Hackers are already using synthetic audio and video to launch phishing campaigns.
The AP described these hackers' use of AI as "an attempt to impersonate high-ranking business or government leaders to gain access to sensitive networks," adding, "They could also use AI to write malicious code or automate some aspects of cyberattacks."
Representing the urgent response, Senate Intelligence Committee member Mark Warner (D-CA) said, "Since the release of ChatGPT in late 2022, the public's interest and experimentation with generative AI will likely translate to a wider range of malicious actors." "It's become clear," he told the AP, adding that the U.S. should make it easier for AI developers to share information about how their products are being used by malicious actors like extremists, criminal hackers, and foreign spies.
Most war-related fake images and claims circulating online previously came from more traditional sources, without the need for AI. But now, with widespread technological advancements and little oversight, this has changed.
Jean-Claude Goldstein, CEO of CREOpoint, a San Francisco and Paris-based technology company that uses AI to assess the validity of online claims, said, "Things are going to get much worse before they get better." He told the AP that the company has created the most viral deepfake database in Gaza, where generative AI is using photos, videos, and audio to create images like you've never seen before.
He said that in some cases, images from other conflicts or disasters are recycled and passed off as new, while in others, generative AI programs have created images from scratch.
For example, there's the viral image of a baby crying amidst bomb debris from the early days of the Hamas conflict.
The Hamas War and Ukraine The potential for AI to become another counterintelligence weapon in warfare has become clear, offering a glimpse into what might happen in future conflicts, elections, and other major events.
“Whether it’s a deepfake baby or an image of a real infant from another conflict, the emotional impact on the viewer is the same,” said Imran Ahmed, CEO of the Center for Countering Digital Hate, a nonprofit that tracks disinformation in warfare. “The more disgusting the image, the more likely users are to remember it and share it, which can inadvertently spread more disinformation.”
“People are saying, ‘Look at this baby picture,’ and the disinformation is designed to get you to engage with it,” he told the AP.
Deceptive AI-generated content began spreading after Russia invaded Ukraine in 2022, with one video purporting to show Ukrainian President Zelensky ordering Ukrainians to surrender.
“These claims continued to circulate as of last week,” the AP reported, “showing how persistent even easily debunked disinformation can be.”
The AP continued, “Every new conflict or election season presents an opportunity for disinformation disseminators to demonstrate the latest advancements in AI,” adding, “This has led many AI experts and political scientists to warn of the dangers of key elections next year in countries including the United States, India, Pakistan, Ukraine, Taiwan, Indonesia, and Mexico.”
The risk that AI and social media could spread lies to American voters has raised concerns among lawmakers from both parties in Washington.
At a recent hearing on the dangers of deepfake technology, Democratic U.S. Representative Gerry Connolly said the U.S. should "invest in developing AI tools to counter other AIs," adding, "Our country needs to get this right."
Several startups around the world are developing new programs to detect deepfakes, watermark images to verify their origins, or scan text to verify false claims that may have been inserted by AI.
Maria Amelie, co-founder of the Norwegian company Factiverse, told the AP, "We've built AI programs that can scan content for inaccuracies or biases introduced by other AI programs." "The next wave of AI is about: how do we verify content? How do we detect misinformation? How do we analyze text to determine if it's trustworthy?"
“These programs will be of immediate interest to educators, journalists, financial analysts, and others working to combat falsehoods, plagiarism, and fraud,” David Doerman, a computer scientist at the Defense Advanced Research Projects Agency (DARPA) who leads the national security response to AI-manipulated images, told the AP. “Despite the technology’s promise, those who use AI to deceive are often one step ahead.”
Effectively addressing the political and societal challenges posed by AI disinformation requires better technology, regulations, voluntary industry standards, and broad investment in digital literacy programs that help internet users distinguish truth from fantasy, Doerman, now a professor at the University of Buffalo, said. “Every time we release tools to detect this, adversaries can use AI to obscure the subtle evidence. Trying to detect and take it down is no longer the solution. We need a much bigger solution.”
AI, IS, militant groups, cyberattacks, generated content, algorithms, war in Ukraine, war in Hamas, hackers, disinformation
