AI인종편견휴대전화얼굴인식아시안오류흑인‘고릴라'분류
AI Racial Bias Cell Phone Facial Recogni
AI 인종편견 휴대전화 얼굴 인식 아시안 오류 흑인 ‘고릴라’ 분류
AI 인종편견이 심각해 휴대전화 얼굴 일치 소프프웨어가 아시아인 얼굴을 잘못 식별했으며, 구글의 자체 사진 앱은 과거에 두 명의 흑인 사진을 "고릴라"라는 카테고리로 분류했다고 AP가 27일 보도했다.
AP는 미국 도시의 경찰은 허위 얼굴 인식 일치를 기반으로 흑인 남성을 부당하게 체포했으며, 미 하원 법사위원회가 지난달 아마존, 구글, 메타, 마이크로소프트, 오픈AI 및 기타 10개 기술 기업에 소환장을 보내 AI 개발에서 "형평성을 증진"하고 "유해하고 편향된 결과물"의 생산을 억제하기 위한 과거의 노력을 조사한다고 밝혔다.
경찰의 안면인식 오류로 체포된 랜달 꾸란 리드는 2022년 추수 감사절 다음 날 경찰이 그를 끌어 당겨 바쁜 조지아 주간 고속도로에서 그를 체포했고, 며칠 동안 갇혀 지내며, 한 번도 가본 적이 없는 주에서 어떻게 용의자가 될 수 있는지 알아내려고 노력했으나 2023년 9월이 돼서야 소송에서 루이지애나주 제퍼슨 교구의 보안관 형사가 안면 인식 기술을 오용한 것이 그의 시련에 대한 원인이라고 비난했다고 AP가 밝혔다.
2019년 트럼프 행정부의 정부 과학자들조차 안면인식 기술이 인종, 성별, 연령에 따라 불균등하게 작동하고 있다고 결론지었으며 바이든 행정부에서 기술 산업은 AI의 만연한 편향을 줄이기 위해 노력했으나, 이번 트럼프 체제에서 미국 상무부의 표준 설정 부서는 외부 연구자와의 협력 요청에서 AI 공정성, 안전성 및 "책임감 있는 AI"에 대한 언급을 삭제했다고 AP가 밝혔다.
AP가 입수한 상무부 문서 사본은 ‘공정 안정성’ 대신 과학자들에게 "이데올로기적 편견을 줄이는 것"에 초점을 맞추도록 지시하고 있다.
Google은 최근 하버드대학 사회학 교수이며 Monk Skin Tone Scale의 개발자인 Ellis Monk 교수가 발명한 ‘색상 척도’를 채택하여 AI 이미지 도구가 인간 피부색의 다양성을 묘사하는 방식을 개선했고, 구글이 그간 사용해 온 ‘백인 피부과 환자를 치료하는 의사’를 위해 설계된 수십 년 된 원래 표준을 대체했다.
Microsoft는 지난 10일 오아이오주에서 10억 달러 규모의 일부 AI 데이터 센터 프로젝트를 '늦추거나 일시 중지'하고 있다고 밝혔다.
AP는 “최근의 변화는 엘리스 몽크(Ellis Monk) 교수를 포함한 이 분야의 전문가들 사이에서 우려를 불러일으켰다”며 “당시 기술 업계는 이미 기계가 이미지를 '보고' 이해하도록 훈련시키는 AI 분야에 문제가 있다는 것을 알고 있었으며, 컴퓨터 비전은 상업적으로 큰 가능성을 가지고 있었지만 흑인과 유색인종을 노골적으로 묘사하던 초기 카메라 기술에서 발견되는 역사적 편견을 반영했다”고 밝혔다.
구글로 부터 몇 년 전 구글로부터 AI 제품을 보다 포괄적으로 만드는 데 도움을 달라는 요청을 받았던 몽크 교수는 "흑인이나 피부색이 더 어두운 사람들이 사진에 나타나면 우리는 때때로 우스꽝스러워 보였다"며 "소비자들은 확실히 이러한 변화에 대해 매우 긍정적인 반응을 보였다"고 AP에 말했다.
몽크 교수는 사람들의 피부색과 다른 특징에 근거한 차별의 한 형태인 색채주의 연구 학자인 그는 "Google은 자사 제품이 인도, 중국, 아프리카 등의 모든 사람에게 적용되기를 원하고 있고, 그 부분은 일종의 DEI(인종 다양성) 면역체이다"라며 "그러나 그런 종류의 프로젝트에 대한 미래 자금 지원이 줄어들 수 있다. 정치적 분위기가 바뀌고 시장에 매우 빨리 출시해야 한다는 압박이 많을 때 더욱 그렇다"고 말했다.
트럼프 1기 체제에서 AI의 인종 편견과 공정성에서 오류를 인정했고, 이는 바이든 행정부가 일부 기술 기업들이 AI 공정성에 대한 초점을 가속화하는 계기가 됐다.
2022년 OpenAI의 ChatGPT가 출시되면서 새로운 우선 순위가 추가되어 문서 작성 및 이미지 생성을 위한 새로운 AI 애플리케이션의 상업적 붐을 촉발하였고, 이는 Google에서 인정 편견에 대한 주의를 불러 들였고, 이를 완화하고 따라잡도록 압력이 가해졌다.
그 후 구글의 제미니 AI 챗봇이 등장했고, 2024년 결함이 있는 제품 출시로 보수주의자들이 풀기를 바랐던 "깨어난 AI"의 상징이 됐다.
AP는 “서면 프롬프트에서 이미지를 생성하는 AI 도구는 자체 장치에 맡겨져 훈련된 모든 시각적 데이터에서 축적된 고정 관념을 영속화하는 경향이 있다”며 “구글도 다르지 않았는데, 구글의 자체 공개 조사에 따르면 다양한 직업에 종사하는 사람들을 묘사해달라는 요청을 받았을 때 피부색이 밝은 얼굴과 남성을 선호했고, 여성을 선택할 때는 젊은 여성을 선호했다”고 AI의 인종 성별 편견을 확인했다.
Google은 불과 1년 전에 Gemini의 AI 이미지 생성기를 출시하기 전에 이러한 격차를 줄이기 위해 기술적 가드레일을 배치하려고 노력했다.
이후 법안은 결국 유색인종과 여성을 부정확한 역사적 배경에 놓이게 하는 결과를 낳았고, 예를 들어 미국 건국의 아버지들이 18세기 복장을 하고 흑인, 아시아인, 아메리카 원주민으로 보이는 남성의 이미지를 가지고 와달라는 요청에 답하는 것과 같은 부정확한 역사적 배경에 놓이게 됐으며, 구글은 재빨리 이에 대해 사과하고 일시적으로 이 기능을 중단했지만, 이 분노는 정치적 우파의 구호가 됐고, 트럼프 2기 체제의 압승으로 이어졌다.
JD 밴스 미 부통령은 지난 2월 11일 파리에서 열린 ‘AI 정상회담(서밋)’에 글로벌 리더와 기술 산업 임원들에게 ‘AI의 위험을 억제하려는 유럽의 노력’에 대한 질책하고 비난하며, 유럽식의 "과도한 규제가 빠르게 성장하는 인공 지능 산업을 무력화시킬 수 있다“고 ‘규제’를 강력 반대했다.
그는 "인공지능을 통한 명백한 비역사적 사회적 의제"의 진전을 비판하면서, 구글의 인공지능 이미지 생성기가 "조지 워싱턴이 흑인이었다고, 또는 제1차 세계대전에 참전한 미국의 반죽 굽는 소년들이었다"고 비유를 끄집어 냈다.
그는 이 극단적으로 “사실, 여성들이다"며 ”우리는 그 우스꽝스러운 순간의 교훈을 기억해야 한다"고 ‘AI 정상회담‘에서 선언했다.
AI 정상회담 연설에 참석한 바이든 전 과학 보좌관 알론드라 넬슨은 “트럼프 행정부가 AI의 '이념적 편향'에 새롭게 초점을 맞춘 것은 어떤 면에서는 주택, 모기지, 의료 보험 및 사람들의 삶의 다른 측면에 영향을 미칠 수 있는 알고리즘 편향을 해결하기 위한 수년간의 노력을 인정하는 것”이라고 말했다.
AI 애플리케이션에서 시민권과 시민의 자유를 보호하기 위한 ‘AI 백서’ 원칙을 공동 저술한 전 백악관 과학기술정책실 국장 대행 넬슨은 "근본적으로 AI 시스템이 이데올로기적으로 편향되어 있다고 말하는 것은 우리 중 많은 사람들이 오랫동안 걱정해 온 문제인 알고리즘 편향 문제를 식별하고, 인식하고, 우려하고 있다고 말하는 것"이라며 “공평한 AI 이니셔티브에 대한 폄하 속에서 협업의 여지가 많지 않다. 불행히도 이 정치 공간에서는 그럴 가능성이 거의 없다고 생각한다"고 말했다.
AI 편향성 대해 그는 "한편으로는 알고리즘 차별 또는 알고리즘 편향, 다른 한편으로는 이데올로기적 편향이라는 다른 이름으로 명명되어 온 문제들은 유감스럽게도 우리를 두 개의 다른 문제로 보게 될 것"이라 밝혔다.
파리의 AI 정상회담에서는 순다르 피차이(Sundar Pichai) 구글 CEO가 밴스 부통령의 바로 곁에 앉았다.
AI 정상회담 선언문은 유럽 국가를 포함한 60 개국이 서명하며 "디지털 격차를 줄이기 위해 AI 접근성을 촉진"하고 "AI가 개방적이고, 포용적이며, 투명하고, 윤리적이고, 안전하고, 보안이 유지되고, 신뢰할 수 있도록 보장"할 것을 약속했다.
공동선언은 이어 "사람과 지구를 위해 AI를 지속 가능하게 만들고"며 "인권, 성평등, 언어 다양성, 소비자 권리 및 지적 재산권"을 보호할 것을 촉구했습니다.
인권 침해 기록으로 오랫동안 비판을 서방으로 받아온 중국이 이날 선언문에 서명했고, 미국은 서명을 거부했다.
밴스 부통령은 이날 ‘AI를 경제적 전환점’이라 규정하면서도 "지금 이 순간 우리는 증기기관의 발명에 버금가는 새로운 산업혁명이라는 놀라운 전망에 직면해 있다"며 "그러나 과도한 규제가 혁신가들이 공을 발전시키는 데 필요한 위험을 감수하는 것을 단념시킨다면 결코 일어나지 않을 것"이라고 유럽의 규제 강화를 비난했다.
영국은 AI 선언언문의 상당 부분에 동의했음에도 불구하고 서명을 거부했고, 총리 대변인은 거부 이유로 "글로벌 거버넌스에 대한 실질적 명확성을 충분히 제공하지 못했다"며, "국가 안보와 AI가 국가 안보에 제기하는 도전에 대한 광범위한 질문을 충분히 다루지 못했다고 느꼈다"고 말했다.
영국 총리실은 이어 "이것은 미국에 관한 것이 아니다“며 ‘영미 보수동맹’ 체제를 부인하고, ”이것은 우리 자신의 국익에 관한 것이며, 기회와 안보 사이의 균형을 보장하는 것이다"고 새롭게 ‘기회와 안보 균형’을 적용했다.
2022년 2월 4일 발표된 바이든 행정부의 'AI 권리장전을 위한 청사진'은 AI가 주도하는 세상에서 디지털 및 시민권을 보호하기 위해 미국 정부에 대한 백악관의 행동 촉구를 담고 있다.
담당 부국장이던 넬슨은 당시 인터뷰에서 "형평성을 중심에 두고 시민권을 우리가 기술을 만들고 사용하고 관리하는 방식의 중심에 두어야 한다"며 "우리는 기술에서 더 나은 것을 기대할 수 있고 더 나은 것을 요구해야 한다"고 AP에 밝혔다.
이 'AI 백서'는 기술 기업에 책임을 묻기 위한 행정부의 의제에, 새로운 규칙을 평가하고 AI 기술의 구체적인 영향을 연구하기 위한 다양한 연방 기관의 책임을 명시했다.
이 백서는 20개 이상의 부서와의 1년 간의 협의를 거쳐 나온 것으로, 시민 사회 단체, 기술자, 산업 연구자 및 팔란티어와 마이크로소프트를 포함한 기술 기업의 피드백을 포함했다.
AP는 이에 “백악관이 알고리즘 편향의 영향을 제한하고, 사용자에게 데이터에 대한 통제권을 부여하고, 자동화된 시스템이 안전하고 투명하게 사용되도록 보장하기 위해 AI 시스템에 구축되어야 한다고 말하는 5가지 핵심 원칙을 제시한다”며 “구속력이 없는 원칙은 부당한 체포에 기여한 안면 인식 도구와 역사적으로 흑인 대학에 다닌 대출 신청자를 차별하는 자동화 시스템을 포함하여 AI 기반 도구로 인한 실제 피해를 문서화한 학술 연구, 기관 연구 및 뉴스 보도를 인용한다”고 밝혔다. kimjc00@hanmail.net
AI Racial Bias Cell Phone Facial Recognition Misidentifies Asian Black People as ‘Gorillas’
AI racial bias is so severe that cell phone facial matching software has misidentified Asian faces, and Google’s own Photos app has previously categorized two photos of black people as “gorillas,” AP reported on the 27th.
The AP reported that police in a U.S. city have wrongly arrested black men based on false facial recognition matches, and the U.S. House Judiciary Committee last month subpoenaed Amazon, Google, Meta, Microsoft, OpenAI, and 10 other tech companies to investigate past efforts to “promote equity” in AI development and curb the production of “harmful and biased outcomes.”
Randall Curran Reed, who was arrested after police pulled him over on a busy Georgia interstate the day after Thanksgiving in 2022, spent days in custody trying to figure out how he could be a suspect in a state he had never been to, but it wasn’t until September 2023 that he filed a lawsuit accusing a sheriff’s detective in Jefferson Parish, Louisiana, of misusing facial recognition technology for his ordeal, AP reported.
Even government scientists under the Trump administration concluded in 2019 that facial recognition technology worked disproportionately across race, gender and age, and while the Biden administration has made efforts to reduce AI’s rampant bias, the Commerce Department’s standards-setting office has removed references to AI fairness, safety and “responsible AI” from requests to work with outside researchers, the AP found.
A copy of the Commerce Department document obtained by the AP instructs scientists to focus on “reducing ideological bias” instead of “fairness and stability.”
Google recently adopted a “color scale” invented by Harvard sociology professor Ellis Monk, the developer of the Monk Skin Tone Scale, to improve the way its AI image tools depict the diversity of human skin color, replacing the original standard, which Google had been using for decades and was designed for “doctors treating white dermatologists.”
Microsoft said on Monday that it was “slowing or pausing” some of its $1 billion AI data center projects in Ohio.
The AP reported that “the recent changes raised concerns among experts in the field, including Professor Ellis Monk,” who said that at the time, “the tech industry already knew there was a problem with the AI field, which trains machines to ‘see’ and understand images. Computer vision had great commercial potential, but it also reflected historical biases found in early camera technology that explicitly depicted black people and people of color.”
Professor Monk, who was asked by Google several years ago to help make AI products more inclusive, told the AP that “when black people or people with darker skin were shown in photos, we sometimes looked ridiculous,” but that “consumers have definitely responded very positively to these changes.”
Professor Monk, a colorism researcher who studies discrimination based on skin color and other characteristics, said, “Google wants its products to work for everyone, whether they’re Indian, Chinese, African, etc., and that’s a kind of DEI immunity,” but added, “That could reduce future funding for those kinds of projects, especially when the political climate changes and there’s a lot of pressure to get to market very quickly.”
The Trump administration’s admission of AI’s racial bias and fairness flaws has prompted some tech companies to accelerate their focus on AI fairness under the Biden administration.
The 2022 launch of OpenAI’s ChatGPT added a new priority, sparking a commercial boom in new AI applications for document writing and image generation, which drew attention to Google’s bias and pressured it to mitigate it and catch up.
Then came Google’s Gemini AI chatbot, which became a symbol of the “woke AI” that conservatives had hoped would be solved with its flawed 2024 release.
AP said, “Left to their own devices, AI tools that generate images from written prompts tend to perpetuate stereotypes accumulated from all the visual data on which they were trained,” and “Google was no different, with its own public surveys showing that when asked to describe people in various occupations, it favored lighter-skinned faces and men, and when asked to choose women, it favored younger women.”
Google tried to put technical guardrails in place to reduce these gaps before launching Gemini’s AI image generator just over a year ago.
The bill eventually resulted in people of color and women being placed in inaccurate historical contexts, such as responding to requests for images of the Founding Fathers dressed in 18th-century clothing and men who appeared to be black, Asian, or Native American. Google quickly apologized and temporarily disabled the feature, but the outrage became a rallying cry for the political right and helped lead to Trump’s landslide victory in his second term.
US Vice President JD Vance criticized and criticized Europe's efforts to "curb the risks of AI" to global leaders and technology industry executives at the "AI Summit" held in Paris on February 11, and strongly opposed "regulation" that "excessive regulation in the European style could cripple the rapidly growing AI industry."
He criticized the advancement of "obviously ahistorical social agendas through AI," and drew an analogy that Google's AI image generator "was black, or American dough boys who fought in World War I." He declared at the "AI Summit" that "in fact, it's women," and "we should remember the lessons of that ridiculous moment." Alondra Nelson, Biden’s former science adviser who spoke at the AI summit, said the Trump administration’s renewed focus on “ideological bias” in AI “is in some ways an acknowledgement of years of work to address algorithmic bias that can affect housing, mortgages, health care, and other aspects of people’s lives.”
“To say that AI systems are ideologically biased is fundamentally to say that we are identifying, recognizing, and concerned about algorithmic bias, which is a problem that many of us have been concerned about for a long time,” said Nelson, a former acting director of the White House Office of Science and Technology Policy who co-authored the AI White Paper on Principles for Protecting Civil Rights and Civil Liberties in AI Applications. “There’s not a lot of room for collaboration amid the denigration of equitable AI initiatives. I think that’s not very likely in this political space, unfortunately.”
“These problems that have been labeled by different names, on the one hand, algorithmic discrimination or algorithmic bias, and on the other, ideological bias, unfortunately, we’re going to see ourselves as two different problems,” Nelson said. At the AI Summit in Paris, Google CEO Sundar Pichai sat next to Vance.
The AI Summit Declaration, signed by 60 countries including European countries, pledged to “promote AI accessibility to close the digital divide” and “ensure that AI is open, inclusive, transparent, ethical, safe, secure, and trustworthy.”
The joint statement went on to call for “making AI sustainable for people and the planet” and protecting “human rights, gender equality, linguistic diversity, consumer rights, and intellectual property rights.”
China, which has long been criticized by the West for its human rights record, signed the declaration that day, while the United States refused to sign. Vice President Vance defined AI as an “economic turning point” on that day, but said, “We are now facing the incredible prospect of a new industrial revolution, comparable to the invention of the steam engine,” and criticized Europe’s strengthened regulations, saying, “But it will never happen if excessive regulation discourages innovators from taking the risks necessary to advance the cause.”
The UK refused to sign the AI declaration, despite agreeing with much of it, and the Prime Minister’s spokesperson said the reason for the refusal was that it “did not provide sufficient substantive clarity on global governance” and “did not sufficiently address the broader questions of national security and the challenges that AI poses to national security.”
The Prime Minister’s Office then denied the “Anglo-American Conservative Alliance” system, saying, “This is not about the United States,” and applied a new “balance of opportunity and security,” saying, “This is about our own national interests, ensuring a balance between opportunity and security.” The Biden administration’s “Blueprint for an AI Bill of Rights,” released on February 4, 2022, outlines the White House’s call to action for the U.S. government to protect digital and civil rights in an AI-driven world.
“We need to put equity at the center and civil rights at the center of how we create, use and manage technology,” Nelson, who was deputy director for AI, told the AP in an interview at the time. “We can expect better from technology and we need to demand better.”
The “AI White Paper” outlines the administration’s agenda for holding tech companies accountable, with responsibilities for various federal agencies to evaluate new rules and study the specific impacts of AI technology.
The white paper is the result of a year-long consultation with more than 20 departments, and included feedback from civil society groups, technologists, industry researchers and tech companies including Palantir and Microsoft.
The AP said, “The White House outlines five core principles that it says AI systems should be built into to limit the impact of algorithmic bias, give users control over their data and ensure that automated systems are used safely and transparently.” The nonbinding principles cite academic studies, institutional studies and news reports that document real-world harms caused by AI-based tools, including facial recognition tools contributing to wrongful arrests and automated systems discriminating against loan applicants who attended historically black colleges and universities.
AI, AI White Paper, AI Summit, Google, Asia, Facial Recognition, Algorithm Discrimination, Racial Prejudice, Gemini, Trump Regime
