구글 클라우드 TPU로
빅스비 AI 트레이닝 속도 향상
AI 모델 트레이닝 속도가 무려 18배나 향상되었다.
지난 10일, 구글 클라우드 보도 자료를 통해 공개된 정보에 따르면 삼성전자의 빅스비 AI 모델 트레이닝 관련하여 구글 클라우드 TPU를 활용한 결과 음성 인식 훈련 속도를 18배 향상시켰다고 합니다.
올해 초 삼성전자는 빅스비에서 사용할 Transformer 신경망 아키텍처를 기반 E2E(End to End) 자동 음성 인식(ASR) 엔진을 개발했으며, 더 많은 훈련 데이터가 필요로 하여 이를 해결하기 위해 클라우드 TPU를 채택했다고 합니다.
클라우드 TPU 시스템은 구글 클라우드에서 AI 서비스를 통해 최첨단 머신 러닝 모델을 실행할 수 있도록 설계된 ASIC(Application-Specific Integrated Circuit / 애플리케이션 별 집적회로)를 기반으로 하고 있으며 딥러닝에 최적화되어있습니다.
최대 2,048개의 코어와 32TiB의 메모리를 포함하고 있으며 확장성이 뛰어나서 ML 연구원과 엔지니어가 더 강력하고 정확한 모델을 구축하고 기업이 AI 애플리케이션을 더 빨리 출시할 수 있도록 지원하여 시간과 비용을 절감하게 해줍니다.
빅스비는 이를 활용하여 언어 서비스를 확대하며 급증한 음성 인식 데이터를 빠르게 처리할 수 있었고, 그 결과 클라우드 TPU에 배포한 이후 모델 학습 속도와 18배 향상되었다고 합니다.
기술 블로그에 보다 세부적으로 설명되어 있는 사항을 살펴보면, 빅스비는 그동안 DNN-HMM(Deep Neural Network-Hidden Markov Model) 하이브리드 ASR 시스템 아키텍처를 사용하고 있었습니다. DNN-HMM 시스템 같은 경우 음성 인식 파이프라인에 음향, 발음 및 언어 모델이 통합되어 있으나, 교육 과정이 복잡하여 전반적인 정확도를 최적화하기 어려웠다고 합니다.
이를 극복하기 위해 빅스비 팀은 E2E 딥러닝 접근 방식으로 엔진을 개선하기로 결정, Transformer 아키텍처를 기반으로 단일 심층 신경망 모델을 활용하여 단순화된 프로세스와 방대한 훈련 데이터를 얻을 수 있었다고 하며, 새로운 언어를 지속적으로 확장하면서 중요해진 라이브 서비스를 최신으로 유지하기 위해 클라우드 TPU를 탐색하기로 결정했다고 합니다.
이 과정에서 GPU에서 TPU로 마이그레이션이 진행되었으며, 순조롭게 진행되는 듯했으나 GPU에서 다시 TPU 학습 모델을 테스트할 때 추론을 실행한 후 계속 반복되는 문제가 발생되었다고 합니다. 이는 TPU에서 학습된 모델을 GPU에서 문장의 끝을 제대로 예측할 수 없어 발생한 문제로 오디오 끝에 추가 패딩을 도입하여 학습 코드를 수정하지 않고 손쉽게 해결되었다고 합니다.
보다 상세하고 정확한 내용은 위의 링크를 통해서 확인해 주시길 바랍니다.
최근 운영 중인 설루션에 AI 도입 관련해서 말이 많아 이리저리 구글링해보면서 공부하다가 우연치 않게 보게 된 비교적 최근 구글 클라우드 TPU 사례입니다. 영어가 아직 많이 부족하다 보니까 정확하게 이해가 잘되지 않았는데.. 구글 클라우드 기술 블로그에 별첨 되어있는 유튜브 영상을 보니까 어느 정도 이해가 되긴 됩니다.
뭐랄까요? 안드로이드 플랫폼 내에서 구글 어시스턴트와 삼성 빅스비가 공존하면서도 경쟁하고 있는 관계이다 보니 묘한 경쟁심이 있어 AI 관련으로는 협력하는 일이 없을 것 같았는데.. 구글 클라우드 TPU 서비스를 이용하면서 협력하는 게 의외로 다가옵니다.
여러모로 좋은 사례를 통해서 많은 공부를 한 것 같습니다. 그리고 최근 AI 관련으로 연동할 수 있는 설루션을 몇 가지 준비하고 있는데 시스템 구성 및 AI 학습에 있어서 정말 좋은 참고 자료를 얻을 수 있었던 것 같습니다.
