EVIDENCE-BASED MANAGEMENT 가이드
근거 기반 관리에 대한 가이드
본 문서는 아래의 문서에 대한 번역이다.
https://scrumorg-website-prod.s3.amazonaws.com/drupal/2018-09/EBM_Guide%20September%202018.pdf
비즈니스 가치를 측정하고 경험적 관리를 사용하여 비즈니스 결과를 지속적으로 개선하는 방법
Overview
신속한 변화를 위한 제품 제공 방식(agile product delivery practices)을 채택하는 조직은 비즈니스 성과(outcomes) 대신 활동(Activities)과 산출물(outputs)을 개선하는 데 집중함으로써 제공하는 가치의 향상이라는 실제 목표를 쉽게 간과할 수 있습니다.
Agile 은 그 자체가 아니라 목적을 달성하기 위한 수단입니다. 신속한 변화를 위한 방법을 채택하는 것의 핵심은 비즈니스 성과를 개선하는 것입니다. 조직에서 이를 간과할 경우 관리자는 합리적일 것으로 보이는 질문을 하지만 의도하지 않은 바람직하지 않은 결과를 초래할 수 있습니다. 그러한 질문의 몇 가지 예는 다음과 같습니다.
이러한 질문에 대한 답은 흥미롭지만 조직이 제공하는 가치나 가치를 제공하는 능력을 개선하는 데 도움이 되지 않습니다. 예를 들어, 개발 팀의 속도를 추적하면 실제로 고객이나 사용자에게 유용한 서비스를 제공하고 있는지 여부에 대해 아무런 언급도 하지 않습니다.
가치를 측정하지 않고서는 모든 애자일 이니셔티브의 성공은 직관과 가정에 기초합니다. 반면, EBM(증거 기반 관리) 접근 방식은 조직 대응력의 증거로 제공되는 가치를 측정하고 가치를 제공하는 능력을 측정하고 개선할 수 있는 방법을 제공합니다. 이러한 접근 방식을 통해 조직은 합리적이고 사실에 기반한 결정을 내릴 수 있으며, 선호와 의견에서 경험적 증거, 논리 및 통찰력으로 대화를 높일 수 있습니다.
EVIDENCE-BASED MANAGEMENT
EBM(증거 기반 관리)은 조직이 고객에게 제공하는 가치와 그 가치를 제공하는 수단을 측정하고 이러한 방법을 사용하여 두 가지 모두에 대한 개선을 안내할 수 있는 경험적 접근 방식입니다.
Unrealized Value : 비실현 가치
Current Value : 현재 가치
Ability to Innovate : 혁신 능력
Time to Market : 출시 시간
각 KVA(Key Value Area)는 가치 또는 조직의 가치 제공 능력에 대한 서로 다른 측면에 초점을 맞춥니다. 4개의 KVA 모두에 강점이 없는 조직은 단기적인 가치를 제공할 수 있지만 이를 지속할 수는 없습니다. 가치 제공, 이해 관계자의 행복 및 구성원의 만족(현재 가치)은 중요하지만 조직은 적시에 제공(Time to Market)을 통해 시장 수요를 충족하면서 시간에 따라 혁신을 지속할 수 있다는 점도 보여주어야 합니다. 제품에 대한 지속적인 투자는 제품이 올바른 기능을 보유하고 있을 경우 실현될 수 있는 as-yet(비실현 가치)의 척도를 바탕으로 정당화될 수 있습니다.
Current Value (CV)
현재 이 제품이 고객에게 제공하는 가치를 보여줍니다.
CV의 목표는 조직이 현재 고객과 이해 관계자에게 제공하는 가치를 극대화하는 것입니다. 즉, 미래에 존재할 수 있는 가치가 아니라 현재 존재하는 것만 고려하는 것입니다. 조직이 현재 가치를 지속적으로 재평가해야 하는 질문은 다음과 같습니다.
1. How happy are users and customers today? Is their happiness improving or declining?
2. How happy are your employees? Is their happiness improving or declining?
3. How happy are your investors and other stakeholders? Is their happiness improving or declining?
1. 오늘날 사용자와 고객은 얼마나 만족합니까? 그들의 행복은 개선됩니까, 아니면 감소합니까?
2. 구성원들이 얼마나 행복하세요? 그들의 행복은 개선됩니까, 아니면 감소합니까?
3. 투자자와 기타 이해당사자들은 얼마나 만족합니까? 그들의 행복은 개선됩니까, 아니면 감소합니까?
다음과 같은 다양한 기능을 통해 CV를 개선할 수 있습니다.
사용 편의성 향상, 고객 또는 사용자 결과 개선, 더 행복한 작업 공간 생성 등을 지원합니다. 투자자는 물론 고객이나 사용자의 관점에서 CV를 보는 것은 분명하지만, 구성원의 태도를 고려하면 궁극적으로 구성원들이 가치 생산자라는 것을 알 수 있습니다. 조직의 가장 중요한 자산 중 하나는 유지 관리, 유지 및 향상 방법을 알고 있는 참여 구성원의 생산성 향상입니다.
각 KVA에 대한 KVM(Key Value Measures)의 예는 부록에 설명되어 있습니다.
Time-to-Market (T2M)
새로운 기능, 서비스 또는 제품을 신속하게 제공할 수 있는 조직의 능력을 나타냅니다.
시장 출시 기간을 고려하는 목표는 조직이 가치를 제공하는 데 걸리는 시간을 최소화하는 것입니다. 시장 출시 기간을 적극적으로 관리하지 않고서는 향후에도 지속적으로 가치를 제공할 수 있는 기능을 알 수 없습니다. 시장 출시 기간 동안 지속적으로 재평가해야 하는 질문은 다음과 같습니다.
1. How fast can the organization learn from new experiments?
2. How fast can you learn from new information and adapt?
3. How fast can you deliver new value to customers?
1. 조직은 새로운 실험으로부터 얼마나 빨리 배울 수 있습니까?
2. 새로운 정보를 통해 얼마나 빨리 배우고 적응할 수 있습니까?
3. 고객에게 새로운 가치를 얼마나 신속하게 제공할 수 있습니까?
다양한 기능을 통해 출시 기간을 단축할 수 있습니다.
내부 커뮤니케이션 병목 현상을 제거하는 것에서부터 공급 파이프라인 자동화 개선, 애플리케이션 유지 보수성 향상, 기술 부채 제거에 이르기까지 모든 것을 제공합니다. 대기 시간 또는 작업 수행 시간을 줄여 주는 모든 기능을 제공합니다.
Ability to Innovate (A2I)
제품 개발 조직이 고객 요구사항을 더 잘 충족할 수 있는 새로운 기능을 제공할 수 있는 능력을 나타냅니다.
A2I의 목표는 새로운 기능과 혁신적인 솔루션을 제공하는 조직의 능력을 극대화하는 것입니다. 조직은 다음과 같은 질문을 통해 A2I를 지속적으로 재평가해야 합니다.
1. What prevents the organization from delivering new value?
2. What prevents customers or users from benefiting from that innovation?
1. 조직이 새로운 가치를 제공하지 못하는 이유는 무엇입니까?
2. 고객 또는 사용자가 이러한 혁신을 통해 혜택을 받지 못하는 이유는 무엇입니까?
다음과 같은 다양한 요소를 통해 팀은 새로운 기능과 가치를 제공할 수 없습니다.
결함 수정 또는 기술 부채 절감, 여러 코드 분기 또는 제품 버전 유지 관리, 복잡하고 단일화된 애플리케이션 아키텍처, 테스트하기에 적합한 Staging 과 같은 환경의 부족, 운영상의 우수성 결여, 잘못된 코드 관리 관행, 분산된 의사 결정과 의사결정의 지연, 채용의 어려움 등으로 인해 많은 시간을 투자합니다. 재능 있고 열정적인 팀 구성원들을 격려해 줄 수 있습니다. 낮은 가치의 기능과 시스템상의 장애가 축적되면 제품을 유지 관리하거나 장애를 극복하는 데 더 많은 예산과 시간이 소비되어 혁신에 사용할 수 있는 용량이 줄어듭니다. 또한 사용자나 고객이 소프트웨어 설치의 어려움이나 소프트웨어 설치를 보증할 수 있을 만큼 강력한 기능의 결여와 같이 혁신을 통해 이득을 얻는 것을 방해하는 모든 것도 A2I를 감소시킵니다.
Unrealized Value (UV)
조직이 잠재 고객의 모든 요구사항을 완벽하게 충족할 수 있다면 실현 가능한 잠재적 미래 가치를 제안합니다.
Unrealized Value의 목표는 조직이 시간이 지남에 따라 제품에서 실현한 가치를 극대화하는 것입니다. 조직이 실현되지 않은 가치를 지속적으로 재평가해야 하는 질문은 다음과 같습니다.
1. Can any additional value be created for our organization in this market or other markets?
2. Is it worth the effort and risk to pursue these untapped opportunities?
3. Should further investments be made to capture additional Unrealized Value?
1. 이 시장 또는 다른 시장에서 우리 조직을 위해 추가적인 가치를 창출할 수 있습니까?
2. 이러한 미개발된 기회를 추구하는 것이 노력과 위험을 감수할 가치가 있습니까?
3. 추가적인 미실현 가치를 획득하기 위해 추가 투자를 해야 합니까?
이러한 질문들은 다른 제품의 UV와 격리되어 완전히 답변될 수는 없습니다.
한 제품에 투자하기로 한 결정은 다른 제품에 투자하지 않는 것을 의미합니다. CV와 UV를 모두 고려하는 것은 조직에 현재와 가능한 미래 편익의 균형을 맞출 수 있는 방법을 제공합니다.
예를 들어, 제품의 CV가 낮을 수 있는데, 이는 제품을 사용하여 시장을 테스트하는 초기 버전이지만 UV가 매우 높기 때문에 시장 잠재력이 크다는 것을 나타냅니다. 현재 제품이 높은 CV를 생산하고 있지 않더라도 잠재적 수익률을 고려할 때 제품에 대한 투자는 보증이 될 수 있습니다. 반대로, CV가 매우 높고, 시장 점유율이 높으며, 경쟁사가 없으며, 만족도가 매우 높은 고객은 새로운 투자를 보장하지 않을 수 있습니다. 이는 매우 수익성이 높지만 제품 투자 주기가 거의 끝나가는 고전적인 cash cow 제품입니다.
Leading and Lagging Indicators (선행 지표와 후행 지표)
선행 지표는 상대적으로 빠른 KVM의 변화를 감지하여 응답 속도를 높이는 반면, 후행 지표는 긴 지연 시간 후에만 변경 사항을 표시할 수 있습니다. 많은 지표가 본질적으로 선행 또는 후행 지표가 되지 않고 측정 빈도에 따라 선행 또는 후행 지표가 됩니다. 따라서 매일 수익이 측정되는 것은 선행 지표이지만, 월별 또는 그보다 적게 측정할 수 있는 경우에는 후행 지표가 된다.
실제 선행 지표는 후행 지표에 의해 보고될 가능성이 있는 결과를 추론하는 데 사용될 수 있으므로, 빌드 및 통합 성공은 전체 릴리스의 가능한 안정성과 예측 가능성에 대한 공정한 예측 변수입니다.
고객 만족도를 나타내는 주요 지표는 얻기 어렵지만 사용 데이터는 대리 역할을 할 수 있습니다. 트랜잭션 폐기 비율은 활동의 성공적인 완료에 대한 통찰력을 제공할 수 있으며, 단순한 사용 데이터는 최소한 기능이 사용 중인지 여부를 알려주고 제품의 사용 방법에 대한 통찰력을 제공할 수 있습니다.
정보 수집에 걸리는 시간에 따라 만족도가 선행 또는 후행 지표가될 수 있습니다. 예를 들어 구성원 만족도에 대한 주요 정보는 "오늘 일은 어땠습니까?"와 같은 간단한 정보를 사용하여 수집할 수 있습니다. 아래와 버튼을 누르면 퇴근할 수 있습니다.
Happy or Not구성원당 매출 또는 제품의 수익성을 측정하는 제품 비율과 같은 실제 지연 지표는 너무 많은 기여 요인에 의해 영향을 받아 제품이 가치를 창출하는 방법에 대한 일반적인 아이디어만 제공합니다. 지표를 검사할 때 공통적으로 상관관계와 인과 관계를 구별하는 것이 어려울 수 있습니다.
지표의 변화 뒤에 숨겨진 근본 원인에 대해 가설을 세우기 위해 의미 있는 데이터 기반 대화를 하려면 인간의 판단과 상향식 인텔리전스가 필요합니다. 이러한 대화는 지표에서 원하는 변화를 만드는 데 유용한 새로운 통찰력, 가설 및 실험을 촉발할 수 있습니다.
How to Improve Empirically using EBM
(EBM을 사용하여 경험적으로 향상하는 방법)
“If you don’t know where you are going, any road will get you there.” – Lewis Carroll
만약 당신이 어디로 가는지 모른다면, 어떤 길에서도 당신을 그곳에 데려다줄 것입니다. – 르위스 캐럴
KVA를 측정하기 시작하면 개선 기회가 있는 곳을 즉시 확인할 수 있기 때문에 몇 가지 개선 효과를 거둘 수 있습니다. 보다 체계적인 접근 방식을 사용하면 조직이 소프트웨어 투자에서 파생된 가치를 지속적으로 학습하고 개선할 수 있으므로 훨씬 더 나은 결과를 얻을 수 있습니다. 진정한 장기적 개선을 위해 아래에 설명된 바와 같이 학습 루프를 설정합니다.
1. Quantify Value
EBM 학습 루프의 첫 번째 단계는 KVM의 형태로 값을 정량화하는 것입니다. KVM 자체를 기준으로 정의하고 정렬하는 프로세스는 최적화 중인 항목에 대한 투명성을 높일 수 있기 때문에 조직에 유용할 수 있습니다.
2. KVM 측정
EBM 학습 루프의 다음 단계는 관심 있는 KVM에 대한 초기 값 또는 기본 측정을 설정하는 것입니다. 이 단계는 제품의 실행 가능성과 제품 제공 능력에 대한 초기 보기를 제공합니다. 그것은 상대적인 강점과 약점을 둘러싼 투명성을 만들어냅니다.
3. 개선하기 위한 KVA의 선택
현재 조직의 가치를 명확하게 파악하고 이를 드러내는 방법을 이해함으로써 소프트웨어 조직의 관리자는 이제 어떤 KVA가 가장 중요한지에 대해 정보에 입각한 결정을 내릴 수 있습니다. 단일 학습 루프 내에서 너무 많은 KBA에 영향을 미치려고 하지 마세요. 너무 많은 요인을 한꺼번에 변경하여 개선 및 측정을 지연하는 것보다 작은 증분 변경 후 신속하게 결과를 측정하는 것이 좋습니다. 여러 요인을 동시에 변경하면 결과 및 활동 간의 인과 관계를 설정하려고 할 때 문제가 발생할 수 있습니다. 짧은 주기와 약간의 변경으로 조직의 전체적인 민첩성을 지속적으로 개선할 수 있는 가장 효과적인 방법입니다.
4. 대상 KVA를 개선하기 위해 실습 실험을 실시
원하는 KVA를 선택한 후 관련 KVM을 개선할 수 있는 몇 가지 방법을 선택하고 실험을 실행합니다. 예를 들어 품질을 향상하려는 소프트웨어 조직은 결함 KVM을 줄이는 데 초점을 맞출 수 있습니다. 이들은 테스트 적용 범위와 개발 팀의 품질 초점을 높이기 위해 테스트 우선 사례를 구현하기로 결정할 수 있습니다.
5. 결과 평가
실험 결과를 측정했으면 변경하기 전에 KVM 값과 비교해야 합니다. 실험 결과 측정 결과가 개선되면 변경 내용이 유지되고, 그렇지 않으면 다른 개선 사항이 시도됩니다. KVA가 원하는 결과를 반영할 때까지 학습 루프가 계속됩니다.
Conclusion
“If you can't measure it, you can't improve it.” - Peter Drucker
만약 측정할 수 없다면 개선할 수 없습니다. - 피터 드러커
EBM의 주요 가치 영역은 제품 제공 성능에 대한 전체적인 관점을 제공합니다. 고객에게 아무런 가치도 제공하지 않는 제품이나 사용자가 오래 살지 못할 것이기 때문에 현재 가치는 가장 중요합니다. 고객/사용자 경험은 그림의 일부에 불과합니다. 행복한 구성원, 고용된 구성원 및 행복한 투자가 없이는 고객에게 가치를 유지하고 향상하는 것이 불가능하며, 이러한 구성원들은 개선을 위해 필요한 자본이 부족할 것입니다.
제품이 제공하는 가치를 빠르게 개선하려면 새로운 가치를 자주 제공해야 합니다. 즉, 제품의 출시 기간을 단축해야 합니다. 이것은 단순히 더 빨리 일하는 것 이상의 것을 의미합니다; 사실, 더 빨리 가기 위해 더 열심히 일하는 것은 거의 지속 가능하지 않습니다. 그 대신, 더 빠른 전달을 위해 장애물을 이해하고 제거하는 것이 빠른 주기를 제공하기 위해 필수적입니다.
시장 출시 시간 단축이 전부는 아닙니다. 매우 작은 개선 사항만 제공하는 빠른 릴리스 주기는 제품이 제공하는 가치를 신속하게 개선하는 데 거의 도움이 되지 않습니다. 또한 각 릴리스에서 중요한 혁신을 제공할 수 있는 능력에 따라 조직의 혁신 능력도 결정됩니다. 이러한 기능을 측정하는 것은 과거에 갇혀 있던 장벽을 제거하는 데 필요한 통찰력을 조직에 제공합니다.
조직 성과 개선은 또한 주기적이고 반복적인 프로세스입니다. 즉, 현재 조건 측정, 성능 목표 설정, 신속하게 실행할 수 있는 소규모 개선 실험 구성, 다시 측정하여 그 효과를 측정하고, 반복하고, 지속적으로 측정하는 것입니다.
End Note
증거 기반 관리는 무료이며 본 가이드에서 제공된다. EBM의 일부만 구현할 수는 있지만, 그 결과는 증거 기반 관리가 아닙니다.
Acknowledgment
증거 기반 관리는 Scrum.org, the Professional Scrum Trainer Community, the Engagement Manager community, Ken Schwaber and Christina Schwaber가 공동으로 개발했습니다.
Appendix – Example Key Value Measures
Current Value (CV)
구성원당 매출액 (Revenue per Employee)
비율(총매출/구성원 수)은 업계 내 주요 경쟁 지표입니다. 이는 업종에 따라 크게 다릅니다.
제품 비용 비율(Product Cost Ratio)
측정 대상 제품/시스템의 총비용 및 비용(수익 대비 운영 비용 포함)입니다.
구성원 만족도 (Customer Satisfaction)
구성원들의 참여, 에너지 및 열정을 측정하는 데 도움이 되는 일종의 감정 분석입니다.
고객 만족 (Customer Satisfaction)
제품에 대한 고객의 참여와 행복을 측정하는 데 도움이 되는 일종의 감정 분석입니다.
사용지수(Usage Index)
기능별 사용률 측정은 제품이 유용하다고 생각하는 고객의 정도와 실제 사용량이 사용자가 기능을 얼마나 오래 사용할지에 대한 기대를 충족하는지 추론하는 데 도움이 됩니다.
Time-to-Market (T2M)
빌드 및 통합 빈도 (Build and integration frequency)
기간당 통합 및 테스트된 빌드 수입니다. 자주 또는 지속적으로 릴리스 되는 팀의 경우 이 조치는 실제 릴리스 측정값으로 대체됩니다.
Release 빈도 (Release Frequency)
기간별 릴리스 수(예: 연속, 일, 주, 월, 분기별 등)입니다. 이는 새롭고 경쟁력 있는 제품으로 고객을 만족시키는 데 필요한 시간을 반영하는 데 도움이 됩니다.
Release 안정화 기간 (Release Stabilization Period)
개발자가 제품 출시 준비 시점과 실제 고객에게 출시되는 시점 사이의 제품 문제를 수정하는 데 소요되는 시간입니다. 이는 잘못된 개발 관행과 기본 설계 및 코드 기반에 따른 영향을 나타내는 데 도움이 됩니다.
평균 수정 시간 (Mean Time to Repair)
오류가 감지되고 수정될 때 소요되는 평균 시간입니다. 이를 통해 조직의 오류 해결 효율성을 확인할 수 있습니다.
사이클 타임 (Cycle Time)
릴리스에서 작업이 시작되는 시점부터 실제로 릴리스 되는 시점까지의 시간입니다. 이 조치는 조직이 고객에게 연락할 수 있는 능력을 반영하는 데 도움이 됩니다.
리드 타임 (Lead Time)
아이디어가 제안되거나 가정이 형성되는 시점부터 고객이 아이디어를 얻을 수 있을 때까지의 시간입니다. 이 조치는 고객 및 제품에 따라 달라질 수 있습니다. 그것은 고객 만족에 기여하는 요소입니다.
학습 시간 (Time-to-Learn)
아이디어나 개선 사항을 스케치하고, 구축하고, 사용자에게 전달하고, 사용법을 배우는 데 필요한 총시간입니다.
Ability to Innovate (A2I)
사용지수 (Usage Index)
자주 사용되는 제품의 기능을 측정합니다. 이렇게 하면 거의 또는 전혀 사용되지 않는 기능을 캡처할 수 있습니다.
혁신율 (Innovation Rate)
신제품 기능에 소비되는 노력 또는 비용의 비율은 총 제품 노력 또는 비용으로 나뉩니다. 이를 통해 조직의 새로운 제품 기능 제공 능력에 대한 통찰력을 얻을 수 있습니다.
불량 동향 (Defect trends)
마지막 측정 이후의 결점 변화 측정입니다. 결점은 고객, 사용자 또는 조직 자체에 대한 제품 가치를 줄이는 모든 것입니다. 결점은 일반적으로 의도한 대로 작동하지 않는 것입니다.
on-제품 지수 (On-Product Index)
현재 버전의 제품을 사용하고 있는 총 사용자 기반의 백분율입니다.
설치된 버전 인덱스 (Installed Version Index)
현재 지원되는 제품 버전의 개수입니다. 이는 조직이 이전 버전의 소프트웨어를 지원하고 유지 관리하는 데 들이는 노력을 반영합니다.
기술 부채 (Technical Debt)
프로그래밍의 개념은 "Quick and Dirty" 솔루션이 나중에 업데이트를 적용할 때 발생하는 추가 개발 및 테스트 작업을 반영합니다.
생산 사건 동향 (Production Incident Trends)
설치된 제품의 문제를 해결하기 위해 개발 팀이 중단된 횟수입니다. Production Incidents의 수와 빈도는 제품의 안정성을 나타내는 데 도움이 될 수 있습니다.
Active code branches, Branch 간 코드 병합에 소요된 시간
배포된 서로 다른 버전에는 일반적으로 별도의 코드 분기가 있으므로 이러한 측정은 설치된 버전 색인과 유사합니다.
컨텍스트 전환에 소요된 시간
일인당 하루 회의 횟수와 팀 외부의 사람들이 문제의 심각성을 쉽게 파악할 수 있도록 돕기 위해 하루에 팀원이 방해를 받는 횟수입니다.
Unrealized Value (UV)
시장 점유율 (Market Share)
제품의 통제 하에 있는 시장의 상대적 비율입니다.
고객 또는 사용자 만족도 차이
고객 또는 사용자가 원하는 경험과 현재 경험 간의 차이입니다.
