벤치마크 성능 조작,
무엇이 문제인가?
한 제품의 성능을 판가름하는 벤치마크를 조작하는 것이 얼마나 잘못되었는가
지난 9월 4일, 하드웨어 전문매체 AnandTech 에서 화웨이의 P20 이 3D Mark 벤치마크 앱에서 벤치마크를 실행하면 성능을 극대화하도록 프로그래밍 되었고, 이를 바탕으로 벤치마크 점수를 높혔다고 밝히는 보도가 있었습니다.
이후 3D Mark 운영사인 UL 에서 확인해본 결과, 화웨이 P20 만이 아니라, P20 Pro, Nova 3, Honor Play 기종에서도 발생했으며, 해당 기종에 대해서 벤치마크 리스트에서 일시적으로 삭제했다고 보도했으며, 화웨이에서 이에 대한 성명을 내놓으면서 일단락 된 사건입니다.
비록 짧은 시간이였지만, 이 사건이 왜 스마트폰 시장에서 빅 이슈로 다루어졌는지에 대해서, 벤치마크가 무엇이며, 이를 조작하는 것은 무엇이 문제인지 알아보면서 생각보는 시간을 가져보도록 하겠습니다.
벤치마크란 무엇인가?
벤치마크의 사전적 용어의 뜻은 "수준점"으로 "기준 수준면에서의 높이를 정확하게 구해 놓은 점"을 말합니다. 이 용어가 컴퓨터, 스마트폰 등 IT 로 넘어오면서 "전자기기의 연산 성능을 시험화 하여 수치화 해놓은 것"을 칭하게 되었습니다.
즉, 누구라도 인정 할 수 있도록 다양한 측정 결과를 표준화 시켜서 대조 할 수 있는 결과 값이라 볼 수 있으며, 전자기기간의 성능을 비교하여 구매 가이드 같은 역할을 하기도 합니다. 단, 테스트 툴, 환경, 기기의 상태에 따라서 벤치마크 결과가 높아지거나 낮아질 수 있기 때문에, "어떠한 툴을 이용했는가?", "어떠한 환경에서 진행했는가?", "어떠한 상태의 기기를 벤치마크 측정하는가?" 를 주의깊게 보아야되고, 가장 합리적으로 잘 고려하여 시행한 결과들이 높은 신뢰도를 얻습니다.
벤치마크의 종류에는 다양하게 많이 있으며, 주로 스마트폰 시장에서 사용되는 것은 3D Mark, Geekbench, GFXBench, Antutu 등이 있습니다.
벤치마크는 의미없다?
일각에서는 벤치마크 결과는 의미가 없다라는 이야기가 있습니다.
이러한 주장을 하는 근거들은 첫째, 측정을 진행하는 기기의 OS와 해당 벤치마크 툴이 어떠한 OS에 최적화 되어있는가에 따라서 결과 값이 차이가 난다는 주장입니다. 특정 벤치마크 툴이 특정 OS에 최적화 되어있어서 다른 OS에서 진행하게 될 경우 점수 결과 값이 안좋게 나온다는 것입니다.
두번째로, 같은 OS를 사용하고 있는 기기들이라도 각 제조사의 최적화 상태 또는 커스텀 개발자들이 추가적으로 진행해놓은 패치 또는 트윅 등에 의해서 벤치마크 점수가 차이가 발생하기 때문에 무의미 하다는 것입니다.
즉, 정리해보자면 벤치마크 테스트 자체가 여러가지 이유로 수 많은 오차가 존재할 수 있기 때문에 무의미 하다는 것입니다.
벤치마크 결과는 의미가 있다!
벤치마크 결과는 의미가 있습니다. "어떠한 툴인가?", "어떠한 OS인가?", "어떠한 환경인가?", "어떠한 기기인가?" 등으로 벤치마크 결과는 수 많은 차이점을 발생시킬 수 있습니다.
하지만 하나의 벤치마크만 보고 신뢰하는 것이 아니라, 복수의 벤치마크들을 보고 다양한 비교 결과군들을 보면, 수 많은 차이점이 있는 벤치마크 결과에 대해서 상쇄시키고, 공통적으로 어떠한 기기가 어떠한 수준의 성능을 내주는지 평균을 측정이 가능합니다.
즉, 다양한 벤치마크를 비교해보고 나오는 값들의 평균을 바탕으로 비교를 해보게되면 대략적으로 각 전자기기들의 성능에 대해서 비교할 수 있는 지표로써 충분히 활용이 가능하므로, 벤치마크 결과는 충분히 의미가 있습니다.
벤치마크 조작, 무엇이 문제인가?
UL (https://benchmarks.ul.com)벤치마크는 공정한 결과를 확인하고 이를 바탕으로 다양한 기기들과 성능 비교를 해보는 목적으로 사용하고 있는 툴입니다.
이러한 벤치마크 툴에 대해서 조작 행위를 가하는 것은, 간단하게 비유해서 온라인 게임에서 "핵"을 사용하는 것과 마찬가지로, 실제 사용자가 사용할 때는 측정 결과보다 못한 성능을 제공하면서, 정작 측정할 때에는 높은 측정값이 나오도록 하는 것은 소비자 기만 행위로도 볼 수 있습니다.
그러므로 제조사들은 벤치마크 측정에 있어서 그 어떠한 조작도 하지 않고 측정하여 투명한 결과 값을 제공하는 것이 기본 원칙으로 꼭 준수되어야 될 사항입니다.
HUAWEI 말고 다른 곳에서는 없었는가?
지금으로부터 5년 전(2013년), 이번 HUAWEI 이슈처럼 AnandTech 에서 삼성전자, LG전자, HTC 에서 벤치마크 조작을 했던 사실이 밝혀졌습니다. 특히 삼성전자와 HTC 같은 경우 조작 사실이 밝혀지고 난 이후에도 Galaxy Note 3 와 HTC ONE M8 에서 한 차례 더 벤치마크 조작을 진행했던 것이 밝혀져서 논란이 있었습니다.
당시 이 이슈는 벤치마크 조작에 해당되는 기기들의 벤치마크 결과를 제외처리하는 것 뿐만 아니라, 많은 리뷰사이트에서 정정 리뷰가 올라오기도 하였으며, 몇 몇 사이트는 삼성전자와 HTC 기기에 대해서 블랙리스트 처리까지 이루어졌을정도로 크게 다루어진 이슈입니다.
이전과 이번 사건은 어떠한 차이점이 있는가?
이전 삼성전자, LG전자, HTC 에서 이루어진 방법과 HUAWEI 에서 진행한 방법은 기본 골격인, 벤치마크 앱이 돌아가는 것이 감지되면 특정한 행위를 진행하여 벤치마크 결과를 보다 더 높게 나오도록 조작한 것은 같습니다. 하지만 진행한 방법에 대해서 차이가 있습니다.
2013년도 사례 같은 경우 벤치마크 앱이 돌아가기 시작하면 CPU와 GPU 를 오버클럭하여 보다 빠르게 연산하게 만들어 점수를 높게 하는 사례였습니다.
대표적으로 삼성전자의 S4 같은 경우, GPU 의 성능을 발열 및 전력소모 등의 문제 때문에 480Mhz 로 제한해두고 있는 것을 532Mhz 로 오버클럭하고, CPU 클럭을 최고 속도인 1.2Ghz 로 고정하는 형태로 부스팅하여 높은 결과를 유도했습니다.
이번 사례는 이전과는 조금 다릅니다. 앞전 사례 같은 경우 TDP(Thermal Design Power · 열 설계 전력)를 기본 상태에서 최대 성능까지 강제로 끌어 올린 경우라면, 이번 HUAWEI 사례는 벤치마크의 높은 결과 값을 얻기 위해서 TDP 를 5W 에서 10W 까지 2배로 끌어 올려서 벤치마크 측정이 되도록 만든 사례입니다.
즉 더 높은 성능을 낼 수 있도록 더 많은 전력을 사용 할 수 있도록 만들어서, 측정 과정에서 더 좋은 결과를 이끌어내게 한 것입니다.
이번 사건에 대해서 HUAWEI 는 어떻게 대응했는가?
이번 벤치마크 이슈에 대해 화웨이의 답변은, 먼저 IFA 2018 행사에서 AnandTech 측의 해명 요청에 대해 "중국의 다른 업체들도 동일하게 성능 부풀리를 진행하고 있다. 중국의 일반적인 관행이다"라는 형태의 답변하여 큰 논란을 일으켰습니다.
이후 UL 사의 조사가 끝난 후 발표한 성명에서는 "화웨이는 사용자가 사용하는 상황에 따라서 요구하는 성능이 다르기때문에, 자사 스마트폰의 AI 메커니즘을 통해서 가장 최적의 성능을 제공하도록 해놓았고, 그 과정에서 벤치마크 부스팅 되었다고 이야기 하고있습니다. 그리고 고객의 선택권을 중요시하여 EMUI 9.0 부터 퍼포먼스 모드(성능 최대 모드)를 ON/OFF 할 수 있도록 추가하겠다" 하였습니다.
마무리
벤치마크는 소비자가 볼 수 있는 제품에 대한 가장 객관적인 성능 비교 자료입니다. 그렇기 때문에 더더욱 벤치마크 조작 행위는 있어서는 안되고, 제조사는 벤치마크 결과가 투명 할 수 있도록 해야될 의무가 있다고 생각됩니다.
이번 이슈를 바탕으로 모든 제조사들이 보다 더 객관적이고 투명성이 높은 벤치마크를 만들어 나가기 위해서 자발적인 도덕성을 바탕으로 더 이상의 벤치마크 조작이 없기를 바랍니다.
본 글은 아래의 기사들을 참고해서 작성된 게시글입니다.
https://benchmarks.ul.com/news/ul-delists-huawei-phones-with-suspect-benchmark-scores
https://www.anandtech.com/show/13318/huawei-benchmark-cheating-headache
https://www.anandtech.com/show/13334/ul-delists-huawei-devices-due-to-inaccurate-benchmarks
