24년 11월 18일 흠터레스팅 테크 뉴스
AI 효율성을 위한 양자화의 한계 외 4건
[오늘의 인용글 - 고객이 원하는 것을 제공하는 것은 회사의 임무]
고객과 사용자들이 원하는 것을 얻지 못하면, 회사 또한 원하는 것을 얻지 못할 겁니다.
- 제프 패튼, 유저 스토리 매핑
Your company can’t get what it wants unless your customers and users get something they want.
- Jeff Patton, User Story Mapping
(1) AI 효율성 개선을 위한 '양자화'의 한계
- 양자화란: AI 모델에서 계산 효율성을 높이기 위해 데이터 표현에 필요한 비트 수를 줄이는 기법 → 예를 들어, 시간을 말할 때 “정오”로 표현하는 것처럼, 정밀도를 줄여 간단히 표현, 모델의 매개변수를 적은 비트로 표현해 계산 부담을 줄이는 방식
- 양자화의 장점: 모델의 계산량 감소 → 하드웨어 비용과 에너지 소비 절약, AI 추론(Inference) 과정에서 특히 유리, 데이터센터의 자원 효율성 증대
- 하지만 Harvard, Stanford 등 연구팀의 연구 결과에 따르면, 훈련 데이터가 많고 오랜 시간 훈련된 대규모 모델일수록 양자화로 성능 저하 가능성 증가
- 기존에는 대규모 모델을 훈련한 뒤 양자화를 통해 효율성을 높이는 전략이 일반적이었으나, 이는 모든 경우에 효과적이지 않음 -> 실제로, Meta의 Llama 3 모델은 양자화 시 성능 저하가 더 크다는 보고가 있음
- AI 추론 비용 증가는 더더욱 심화되고 있는 문제: AI 추론은 훈련보다 비용이 더 많이 소요될 수 있음 -> Google은 Gemini 모델 훈련에 $1.91억을 소모했으나, 검색 쿼리 응답에 AI 모델을 사용하면 연간 $60억이 들 것으로 추산
- Nvidia와 같은 하드웨어 업체는 FP4(4비트) 등 초저비트 양자화를 지원하는 칩을 개발 중이지만, 7-8비트 이하로 줄이면 품질 저하가 더 뚜렷 -> AI 모델은 구조적으로 무한정 정밀도를 낮출 수 없음
- 저정밀 훈련(Low Precision Training) - 모델 훈련 시부터 낮은 정밀도로 데이터 처리 -을 하거나, 양보다 질에 집중해 중요한 데이터만을 사용해 훈련하는 것이 대안이 될 수 있음
- https://techcrunch.com/2024/11/17/a-popular-technique-to-make-ai-more-efficient-has-drawbacks/
(2) AI 전화 스캠을 방해하는 'AI 할머니' 서비스 출시
- FBI 보고서에 따르면, 2023년 기준 60세 이상 고령층이 전화 사기로 잃은 금액은 $34억, 전년 대비 증가
- 생성형 AI와 음성 사칭 기술의 발전으로 이러한 피해 금액은 더 증가할 가능성이 큼
- 영국의 최대 모바일 네트워크 운영사 O2가 전화 사기꾼을 지연시키기 위한 챗봇 ‘AI Granny’를 출시
- AI Granny는 고령의 여성을 모방하여 사기꾼과 대화하며, 뜨개질, 고양이 "Fluffy"와 같은 잡담으로 사기꾼의 시간을 낭비하도록 설계 -> 챗봇은 AI 모델을 활용해 통화 내용을 텍스트로 변환한 후, 대규모 언어 모델(LLM)로 응답을 생성하고, 이를 텍스트-음성 변환 모델을 통해 음성으로 변환
- AI Granny는 유명한 유튜버이자 사기 대응 전문가 Jim Browning의 도움으로 훈련됨 -> 대화 오디오는 실제 사례를 기반으로 하며, 사기꾼과의 대화에서 지속적인 혼란을 유발해 사기 성공률을 낮추는 것을 목표로 함
- AI Granny는 전화 사기 방지와 관련하여 창의적이고 실용적인 접근법을 제공 -> 고령층 피해자들을 보호하고 사기꾼의 활동을 무력화하는 데 기여할 가능성이 큼
- AI의 윤리적 활용: 생성형 AI 기술이 단순한 생산성 도구를 넘어 사회적 문제 해결에 효과적으로 사용된 사례이며, AI 기술의 올바른 방향성을 보여주는 혁신적 사례로 평가 가능
- https://techcrunch.com/2024/11/15/ai-granny-is-happy-to-talk-with-phone-scammers-all-day/
(3) 일론 머스크, 캘리포니아의 딥페이크 제재 법안에 대해 소송 제기
- AB 2655는 선거와 관련된 AI 딥페이크를 삭제하거나 표시(labeling)하도록 온라인 플랫폼에 요구하는 법안
- 해당 법안은 "2024 딥페이크 기만 방지를 위한 민주주의 수호법(Defending Democracy from Deepfake Deception Act of 2024)"으로 불림
- X는 이 법안이 정치적 표현에 대한 검열(censorship)로 이어질 수 있다고 주장 -> 소장에서 "정부 및 공직자에 대한 비판적 표현, 심지어 잠재적으로 허위일 수 있는 발언도 제1차 수정헌법(표현의 자유)에서 강하게 보호받아야 한다"는 논리를 전개
- 법안의 다른 요구사항, 예컨대 정치 딥페이크 신고 채널 설립 및 공직자가 법적 구제를 요청할 수 있는 메커니즘도 부담으로 작용한다고 지적
- 이 소송은 캘리포니아에서 기만적 선거 캠페인 광고를 금지하는 또 다른 딥페이크 관련 법안이 연방 판사에 의해 일시적으로 차단된 이후 몇 주 만에 제기된 것 -> AB 2655의 시행은 플랫폼에 더 큰 법적 및 운영적 책임을 부여
- 소송 결과는 딥페이크 관련 규제가 미국 전역으로 확산될지 여부에 중대한 영향을 미칠 가능성이 있어, 플랫폼의 법적 책임과 검열 우려를 둘러싼 정책적 논의 심화
- https://techcrunch.com/2024/11/15/x-sues-to-block-california-anti-deepfakes-bill/
(4) 구글, EU 국가에서 뉴스 기사를 검색 결과에서 제외 실험 진행 중
- 구글은 EU 9개국에서 뉴스 기사를 검색 결과에서 제외하는 실험을 진행 중 -> 1%의 사용자에게 EU 기반 뉴스 발행사의 기사가 Google 검색 및 Google News에 표시되지 않도록 설정
- 목적: 뉴스 콘텐츠 재사용에 대해 디지털 플랫폼이 얼마나 지불해야 하는지 파악하기 위함
- 법적 문제 발생: 실험 발표 직후, 프랑스 상업 법원은 해당 실험이 기존 프랑스 경쟁 당국과의 합의를 위반한다고 판결 -> 구글은 실험을 중단하거나 하루당 €90만 벌금을 내야 하는 상황에 직면, 구글은 프랑스를 실험 대상국에서 제외함으로써 문제를 해결
- 현재 상황: 실험 대상국은 9개국에서 8개국으로 축소했으며, 해당 실험의 영향은 EU 전체 뉴스 트래픽에 중요한 변화를 가져올 가능성 있음
- 배경: EU의 "이웃권(neighboring rights)" 규정은 디지털 플랫폼이 뉴스 콘텐츠 재사용에 대해 비용을 지불하도록 요구 -> 구글의 대응이 규제 당국 및 뉴스 발행사들과의 관계에 영향을 미칠 수 있음
(5) 제너럴 모터스, 1,000명의 미국 직원 추가 감원
- 제너럴 모터스(GM)는 약 1,000명의 미국 직원을 추가로 감원 -> 3개월 전 소프트웨어 부문에서 1,000명을 감축한 데 이어 이번이 두 번째 대규모 감원
- 감원은 시간제 공장 근로자가 아닌 주로 정규직 직원(관리직)을 대상으로 함, 감축된 부서에 대한 구체적인 정보는 공개되지 않음
- "경쟁에서 승리하기 위해 효율성을 극대화하고, 올바른 팀 구조를 유지하며, 비즈니스의 최우선 순위에 집중해야 한다"고 성명 발표 -> 2025년까지 전기차(EV) 사업의 손실을 20억~40억 달러 줄이기 위한 노력의 일환
- GM 및 기타 자동차 제조업체들은 전기차 보조금 상실 가능성에 직면 -> 새로 취임한 도널드 트럼프 대통령과 그의 자문인 일론 머스크는 전기차 보조금 폐지를 지지
- 전기차 보조금 상실은 GM 및 전기차 산업 전반에 큰 영향을 미칠 수 있음
- 감축의 대상이 소프트웨어 및 관리직에 집중된 점에서, GM의 비용 절감 전략이 핵심 기술 개발보다는 단기적인 재무 안정에 초점이 맞춰져 있다는 평가 가능 -> 전기차 전환 및 비용 구조 재편 과정에서, GM의 경쟁력 강화 여부가 관건
- https://techcrunch.com/2024/11/15/general-motors-slashes-another-1000-jobs-to-cut-costs/
