구글 클러스터 데이터
2010년 1월 7일 (목) - 구글 AI 리서치 블로그
Google은 애플리케이션과 인프라의 발전에 있어 많은 기술적 과제에 직면 해 있습니다. 특히 컴퓨팅 클러스터의 크기를 늘리고 처리 작업을 확장함에 따라 Google 시스템에서 실행되는 다양한 작업을 예약하는 방법에 많은 문제가 발생합니다.
Google은 이러한 과제를 학술 커뮤니티에 흥미가 있고 Google에 중요하다고 생각하는 다음 연구 주제로 정리했습니다.
워크로드 특성화: 독립형 벤치 마크를 실행할 수 있도록 프로덕션 워크로드를 나타내는 합성 작업을 쉽게 생성하는 방식으로 Google 워크로드를 특성화할 수 있는 방법은 무엇입니까?
워크로드 특성의 예측 모델: 정상 및 비정상 워크로드는 무엇입니까? 자동 및 / 또는 수동 응답이 가능한 기간 내에 문제를 나타낼 수 있는 "신호"가 있습니까?
머신 할당을 위한 새로운 알고리즘: 머신 리소스를 최대한 활용하고 머신에서 과도한 리소스 경합을 피하며 전력을 효율적으로 관리할 수 있도록 머신에 작업을 할당하는 방법은 무엇입니까?
셀 작업의 확장 가능한 관리: 셀에서 작업을 효율적으로 시각화하고, 문제 결정을 지원하고, 관리 작업의 자동화를 제공하기 위해 미래의 셀 관리 시스템을 어떻게 설계해야 합니까?
연구원이 현실적으로 이러한 질문을 해결하는 데 도움을 주기 위해 Google 프로덕션 시스템의 데이터를 제공할 것입니다. 이러한 데이터의 초기 초점은 워크로드 특성 분석입니다. 자세한 내용은 여기를 참조하십시오. 데이터는 다음과 같이 구성됩니다.
시간 (int)-데이터 수집이 시작된 이후의 시간 (초)
JobID (int)-이 작업이 속한 작업의 고유 식별자
TaskID (int)-실행 중인 작업의 고유 식별자
작업 유형 (0, 1, 2, 3)-작업 클래스 (작업 분류)
정규화된 작업 코어(float)-작업에 사용된 평균 코어 수의 정규화된 값
정규화된 작업 메모리(float)-작업에서 소비한 평균 메모리의 정규화된 값
우리는 (a) 우리가 제공하는 데이터의 품질 및 내용; (b) 상기 주제와 관련된 기술적 접근 및 / 또는 결과; (c) Google이 클라우드 컴퓨팅 영역에서 다루어야 한다고 생각하는 다른 연구 주제 (이 주제를 다루는 데 필요한 데이터 세부 사항과 함께)에 대한 피드백을 환영합니다.
원본 제목: 구글 클러스터 데이터(Google Cluster Data)
게시자 : Joseph L. Hellerstein, Google Performance Analytics 관리자
원본 소스: https://ai.googleblog.com/2010/01/google-cluster-data.html
이 블로그는 2010년 1월 7일(목), Google AI 리서치 블로그 기사를 영한 번역한 것입니다. 또한 이 번역 글은 정보 공유 목적으로만 작성했으므로 어떠한 상업용으로 사용할 수 없으며, 원본 저작물 모두 구글에게 저작권이 있음을 알려 드립니다. (First Draft Version)
