더 많은 Google Compute 클러스터 추적데이터
2020년 4월 28일 (화) - 구글 AI 리서치 블로그
Google의 Borg 클러스터 관리 시스템은 Google의 계산에 관련된 집합을 지원하며 거의 모든 Google 서비스를 지원합니다. 예를 들어 이 게시물 작성에 사용된 Google 문서를 호스팅 하는 컴퓨터는 Google의 클라우드 컴퓨팅 제품을 실행하는 컴퓨터와 마찬가지로 Borg에서 관리합니다. 따라서 Borg 시스템과 작업량은 연구원과 실무자에게 큰 관심을 끌게 됩니다.
8년 전 Google은 29일 클러스터 추적(2011년 5월부터 Google Borg 컴퓨팅 클러스터의 모든 작업에 대한 모든 작업 제출, 예약 결정 및 리소스 사용 데이터 기록)을 발표했습니다. 이 추적으로 광범위한 연구가 가능해졌습니다. 클러스터 스케줄러 및 클라우드 컴퓨팅을 위한 최첨단 기술의 발전에 수백 가지의 분석 및 연구를 생성하는 데 사용되었습니다. 그러나 2011년 추적을 사용할 수 있게 된 이후 몇 년 동안 기계와 소프트웨어가 발전하고 워크로드가 변경되었으며 워크로드 분산의 중요성이 더욱 명확해졌습니다.
연구원들이 이러한 변화를 스스로 탐구할 수 있도록 Google은 8월 Google 컴퓨팅 클러스터를 다루는 2019년 5월 한 달 동안 새로운 추적 데이터 세트를 출시했습니다. 이 새로운 데이터 세트는 2011년보다 크고 광범위하며 다음을 포함합니다.
포인트 샘플이 아닌 5분마다 CPU 사용 정보 히스토그램
할당 세트(작업에 의해 사용되는 공유 자원 예약)에 대한 정보
MapReduce 작업과 같은 마스터 / 작업자 관계에 대한 작업 상위 정보
마지막 추적과 마찬가지로 새 추적은 리소스 요청 및 사용에 중점을 두고 있으며 최종 사용자, 데이터 또는 스토리지 시스템 및 기타 서비스에 대한 액세스 패턴에 대한 정보는 포함하지 않습니다.
현재 Google BigQuery를 통해 추적 데이터를 제공하므로 로컬 리소스를 사용하지 않고도 정교한 분석을 수행할 수 있습니다. 이 사이트는 액세스 지침과 추적 내용에 대한 자세한 설명을 제공합니다.
2011년과 2019년의 미량 차이에 대한 첫 번째 분석이 이 백서에 나와 있습니다.
이 데이터가 클러스터 관리에 대한 더 많은 연구를 용이하게 하기를 바랍니다. 유용하다고 생각하거나 사용하는 논문을 게시하거나 분석 도구를 개발하거나 개선 방법에 대한 제안이 있으면 저희들에게 알려주십시오.
감사의 말
인턴 Muhammad Tirmazi와 동료 Nan Deng, Md Ehtesam Haque, Zhijing Gene Qin, Steve Hand 및 방문 연구원 Adam Barker에게 감사의 말을 전합니다.
원본 제목: 더 많은 Google Compute 클러스터 추적 데이터(Yet More Google Compute Cluster Trace Data)
게시자 : John Wilkes, Google Cloud 수석 소프트웨어 엔지니어
원본 링크: https://ai.googleblog.com/2020/04/yet-more-google-compute-cluster-trace.html
Large-scale cluster management at Google with Borg 논문: https://research.google/pubs/pub43438/
Google's cluster data 오픈소스: https://github.com/google/cluster-data
More Google Cluster Data 블로그(영문): https://ai.googleblog.com/2011/11/more-google-cluster-data.html
구글 클러스터 데이터 블로그(한글): https://brunch.co.kr/@synabreu/92
더 많은 Google Cluster 데이터 블로그(한글): https://brunch.co.kr/@synabreu/91
Borg: the Next Generation 논문: https://dl.acm.org/doi/pdf/10.1145/3342195.3387517
이 블로그는 2020년 4월 28일(화), Google AI 리서치 블로그 기사를 영한 번역한 것입니다. 또한 이 번역 글은 정보 공유 목적으로만 작성했으므로 어떠한 상업용으로 사용할 수 없으며, 원본 저작물 모두 구글에게 저작권이 있음을 알려 드립니다. (First Draft Version)
