Weekly news on LLM - 4월 첫째주
제목: "2년 내 LLM 학습 데이터 고갈...데이터 문제로 AI 발전 중단될 것"
요약: WSJ은 1일 오픈AI의 'GPT-4'나 구글의 '제미나이'와 같은 기술이 잠재적인 데이터 부족에 직면해 있다고 보도했다. 이에 따르면 LLM의 규모가 커지면서 업계에서는 전례 없는 데이터 수요가 발생하고 있다. AI 기업은 향후 2년 이내에 고품질 텍스트 데이터에 대한 수요가 공급을 초과, 잠재적으로 AI 발전을 방해할 수 있다는 의견을 내놓고 있다. 파블로 비라로보스 에포크 연구원은 "컴퓨터 과학 원리 중 '친칠라 스케일링 법칙'에 따라 'GPT-5'와 같은 AI 시스템은 현재의 성장 궤적을 따른다면 60조~100조개의 데이터 토큰이 필요할 것"이라며 "이는 현재 사용 가능한 모든 고품질 텍스트를 데이터를 10조~20조개 이상 넘어서는 것"이라고 지적했다. 이를 해결하기 위해 연구진은 합성 데이터나 유튜브 동영상, 레딧과 같은 커뮤니티 게시물 등 새로운 데이터 소스를 발굴하고, curriculum learning 등 ML 기법 등으로 학습 효율을 높이는 등 온갖 방법을 강구하고 있다. 하지만 이 중 합성 데이터는 모델의 성능을 갑작스럽게 하락시키는 '모델 붕괴'의 위험성도 가지고 있다.
https://www.aitimes.com/news/articleView.html?idxno=158463
제목: 게시판 정보 천국 ‘레딧’, AI 훈련에 쓰일 ‘인간의 경험’을 팔려고 한다
요약: 미국의 커뮤니티 플랫폼 서비스인 ‘레딧(Reddit)’이 지난달 21일 뉴욕증권거래소에 상장했다. 2005년 창업한 레딧은 한국의 ‘디시인사이드’와 비슷한 서비스를 제공한다. 다양한 관심사를 가진 이들이 제각각 게시판(레딧 세상에선 ‘서브 레딧’이라 부른다)을 만들어 자유롭게 글을 올리면서 커뮤니티를 형성하고 정보를 공유한다. 매출이 계속 늘고는 있지만 레딧은 아직 적자 회사다. 신고서에 따르면 레딧의 지난해 매출은 8억400만달러(약 1조800억원)로 전년(6억6670만달러) 대비 21% 늘었다. 하지만 비용 등을 제외한 영업이익이 여전히 1억4016만달러 적자를 기록 중이다. 지금까지는 레딧 매출 중 대부분이 광고 수익인 상황이다. 신고서는 “2022·2023년 매출의 약 98%가 광고에서 나왔다. 레딧은 광고외에 매출을 다각화하려고 노력 중이다. 레딧은 특히 시장이 빠르게 확장 중인 AI 분야를 유망하다고 보았다. 최근 급속하게 발전 중인 챗GPT 등 ‘대규모 언어 모델(LLM) AI’ 개발을 위해 레딧의 데이터를 팔아 수익으로 만들 수 있다고 전망했다. 10억건이 넘는 게시물과 160억건이 넘는 댓글(2023년 말 기준), 하루 평균 120만건 정도 올라오는 새 게시물 및 750만건 정도 생성되는 댓글 등은 레딧을 인터넷의 가장 큰 정보 뭉치로 만들어준다.레딧은 이미 2~3년 정도의 단기 계약들을 통해 AI 기업에 데이터를 공급하고 있으며 이를 통해 총 2억3000만달러, 2024년 한 해 동안 약 6640만달러 정도 매출을 올릴 전망이라고 신고서에 적었다. AI 번역을 통한 비영어권 공략도 계획 중이다. 샘 올트먼은 상장 후 지분이 7.6%로 경영진을 제외하곤 셋째로 지분이 많은 주주로 이름을 올렸다.
제목: 국내 기업이 바라본 '수노'..."결국 음악 생성 AI도 다양화될 것
요약: 수노AI가 공개한 음악 생성 AI 서비스 'V3'가 해외에서 돌풍을 일으키고 있다. 음악적 지식이 없는 사용자도 텍스트 입력만으로 몇초 만에 연주와 보컬을 모두 포함하는 완전한 노래를 생성, '음악판 소라'라는 극찬도 이어지고 있다. "수노의 경우 기승전결이 확실한 음악을 만들어주는 게 특징"이라며 "프롬프트를 입력해 1절, 2절, 후렴 등 다양한 곡의 형식을 구성할 수 있는 건 물론 보컬 및 효과음, 악기 음색도 다양하다"라고 전했다.인터페이스(UI) 등 사용성 측면도 무시할 수 없다는 분석이다. 한 페이지 안에서 프롬프트 입력, 현재 생성 음원, 지난 음원 등을 모두 살펴볼 수 있어 편리하다고 설명했다. 곡 제목과 앨범 커버를 만들어 주는 것도 독특한 기능이라는 평이다. 기술적으로는 현재 글로벌 테크가 가장 많이 차용 중인 '파형 생성' 방식이라고 설명했다. 수노는 물론, 스태빌리티AI의 '스테이블 오디오'나 '리퓨전' 등은 음악을 요소의 결합보다 '하나의 파형'으로 인식하고 있다는 설명이다. 문제점과 한계도 있다. "수노는 법적 문제보다 '포지션 선점'을 중요시한 것 같다"라며 "라이선싱을 거치지 않은 데이터를 대량으로 크롤링한 것으로 보인다"라고 밝혔다. 수노 사용 후기를 공유하는 오픈 채팅방을 모니터링한 결과, '표절 정황'도 발견했다고 전했다. 예를 들어 학습 데이터 규모가 큰 '한국 발라드 장르'를 입력할 경우, 적절히 믹스한 결과를 내놓을 확률이 높다. 하지만 기존 데이터양이 적은 '한국어 클래식' 등을 입력할 경우, 결과도 한정적일 수밖에 없다는 것이다. 이는 학습 데이터를 토대로 생성하는 AI의 한계점이기도 하다. 적은 데이터를 바탕으로 곡을 생성하다 보니, 기존에 존재하던 곡과 5음절 이상 동일한 가사를 사용하는 등 직접적인 문제도 나타났다는 지적이다.
https://www.aitimes.com/news/articleView.html?idxno=158414
제목: "게으른 GPT-4는 필요없어!"…덩치 키워 챗GPT 때리는 클로드3·그록·미스트랄
요약: 오픈AI의 대규모언어모델(LLM) GPT-4의 ‘게으름’ 문제가 끊이지 않자, 클로드3 등 다른 LLM으로 이동하는 사용자들이 늘고 있다. 챗GPT가 유료 사용자들의 요구에 제대로 응답하지 않자 이에 불만족한 이들이 대안을 찾아 나섰다는 것이다. 이런 점을 노린 아마존웹서비스(AWS) 등 클라우드서비스 업체들은 자사 서비스 내에 앤스로픽과 라마2, 미스트랄AI 등 다양한 LLM에 대한 접근성을 높이고 나섰다. 특히 지난달 초 출시된 클로드3는 GPT-4를 능가하는 성능을 갖췄다는 평가를 받으면서 선호도도 늘고 있다. 클로드3의 최상위 버전인 ‘오푸스’는 추론, 수학 등의 능력을 측정하는 ‘대규모 멀티태스크 언어이해(MMLU)’ 벤치마크에서 오픈AI GPT-4와 구글의 최상위 모델인 제미나이 울트라를 넘어섰다. 일론 머스크의 xAI는 GPT-4 수준에 근접한 LLM ‘그록-1.5’를 최근 발표했는데, “그록-1.5가 코딩과 수학을 포함한 주요 벤치마크에서 이전 모델보다 향상됐다”며 “구글의 제미나이 1.5 프로나 GPT-4 클로드3 등과 성능이 비슷하다”고 설명했다. 이 모델은 이번 주부터 X 프리미엄 사용자에게 제공된다. 프랑스의 미스트랄AI도 새로운 LLM '미스트랄 7B v0.2' 지난달 말 출시했다. 메타의 라마2를 뛰어넘는 성능으로, 더 적은 매개변수에서도 성능과 다양성, 효율성을 보여줬다는 평가가 나온다. 이런 점을 겨냥해 AWS는 AI 플랫폼 ‘베드록’의 시장 점유율을 높이기 위해 앤스로픽, 라마2, 미스트랄AI, 코히어를 무료로 사용할 수 있도록 하는 등 이들에 대한 사용 접근성을 높였다.
https://www.hankyung.com/article/202404035555i
제목: 오픈AI, 회원 가입 없이도 '챗GPT' 접속 허용
요약: 오픈AI의 '챗GPT'를 로그인 없이도 사용할 수 있게 됐다.
지난 2022년 말 출시된 챗GPT는 그간 오픈AI 계정에 가입해야만 사용할 수 있었다. 가입이나 로그인 없이 사용하는 챗GPT는 일부 성능에 제한이 있기는 하지만 생성 내용에 질적인 차이가 없어 근본적인 서비스는 똑같다. 다만 로그인을 할 경우에는 챗GPT에 남긴 채팅 기록을 저장, 검토, 공유할 수 있고 음성 대화 기능도 사용할 수 있다. 또 '달리 3'과 같은 다른 오픈AI 제품은 여전히 계정 로그인이 필요하다. 또 오픈AI는 로그인 없이 사용할 경우 챗GPT를 남용할 위험성이 커지는 것을 막기 위해 오픈AI는 프롬프트와 생성되는 답변을 차단하는 항목의 범위를 넓히는 등 추가적인 콘텐츠 보호조치를 도입했다고 밝혔다. 또 챗GPT는 지난해 5월 기준 18억명의 방문자를 기록한 뒤 성장세가 둔화되고 있는 것으로 알려졌다.따라서 이번 조치는 액세스 장벽을 낮춰 챗GPT의 접근성을 확대함으로써 더 많은 사용자를 유치하기 위한 전략으로 해석된다.
https://www.aitimes.com/news/articleView.html?idxno=158457
제목: “고객 메신저에 AI 접목 채널톡”…장점 셋, 단점 하나
요약: 이커머스 기업들이 주로 쓰는 고객 메신저 ‘채널톡’이 생성형 AI를 입었다. CS의 70% 정도를 차지하는 발송 예정일 설명, 주문과 주문취소 같은 단순 업무를 AI채팅봇이 해결해주는 서비스인 ‘알프(ALF)’를 선보인 것이다. 이 서비스는 특히 CS 인력이 많지 않은 자사몰에 적합할 것으로 보인다. 다만, 오픈AI의 LLM을 이용해 연동비가 부담될 우려가 있지만, 연내 오픈소스 LLM을 이용한 서비스로 바꿔 이를 해소할 예정이다. 챗봇에 LLM도입시 장점은 ①최소 CS 인원 ②효율적인 고객관리 ③확장성을 장점으로 소개했다. 실제로 연매출 250억원에 달하는 패션 자사몰 ‘라룸’이 비공개 베타 테스트에 참여했더니, 전체 고객문의 30% 감소, 알프를 통한 단순문의 해결률 55%, 커맨드를 통한 해결률 80% 등의 획기적인 성과를 거뒀다고 했다. 또, 패션 이커머스 브랜드 ‘유어메모’도 비공개 베타 테스트를 해보니 전체문의 44% 감소, 알프를 통한 단순문의 해결률 72%, 커맨드를 통한 해결률 76% 등을 기록했다고 전했다. 라룸 관계자는 “상담원이 직접 답변을 안하니 고객들이 만족할까 걱정했지만 ‘내옷 언제와’ 같은 반말도 (알프가) 알아듣더라”고 했다.한편, 업그레이드된 ‘채널톡’의 확장성도 언급되었는데,고객이 채팅방 내에서 문제를 직접 해결할 수 있도록 필요한 액션을 UI·UX 형태로 제공하는 ‘WAM(Web Application Module)’을 개발한 것이다.
https://www.edaily.co.kr/news/read?newsId=03850726638852512&mediaCodeNo=257&OutLnkChk=Y
