Result4. 모델 평가 및 향상 Evaluation

multi-robot missions, process mining

Result3. 모델 도출(ModelDiscovery)

본 논문의 내용을 세세히 리뷰하면서 교수님과 미팅을 가졌다. 현재 병원에서 실제로 진행하고 있는 연구 내용을 잘 배치하고 모델 관련 아이디어를 조금 추가한다면 SCI 논문으로 작성이 될 것 같다는 긍정적인 피드백이었다. 

연구 분야가 컴퓨터 공학 및 로보틱스 쪽이라서 어떻게 디지털 헬스케어 및 생명융합 공학과 관련하여 썰을 풀어갈지는 좀 더 고민이 필요한 부분이나, 서비스 로봇을 병원 현장에서 의료 수요를 해결하고 헬스케어 서비스에 사용한다는 점을 강조하면 디지털 헬스케어 서비스로 잘 풀어갈 수 있을 것 같다.

어느덧 논문은 결론의 막바지에 이르러 간다. 결론이 오기까지 참 긴 시간이 필요했으나 이 결론을 이해하기 위한 과정이었고, 지나온 삶의 경험 상 불로소득은 잠깐은 좋을지 모르나 그 나중은 좋지 않았음을 알기에 지나온 과정이 소중하다고 생각된다.

Model evaluation and enhancement

•발견된 모델을 평가하고 향상하는 단계로, 이를 위해 fitness, simplicity, generalization and precision의 개념을 적용할 수 있음. 

•운영자의 명령 및 로봇 작업, 액션 및 위치와 관련된 모든 활동을 포함하는 Complete 미션 모델(M-A)은 표 4에 따르면 deviations는 약 5% 정도이므로, fitness가 좋은 모델임. (이벤트 로그에 기록된 활동 순서와 빈도를 실제 상황을 재현하고 반영하는 모델임)

•하지만 이 모델은 대부분의 경우를 나타내므로 일반화가 잘 되어 있지만 예측을 할 수 없으므로 precision은 낮음.

Examples of events generated by the location of UAV

위치 이벤트는 나머지 이벤트와 독립적이기 때문에 모델을 왜곡. 작업 또는 명령은 로봇이 위치한 사분면이나 영역과 관련이 없음. 이로 인해 알고리즘은 위치 이벤트가 다른 이벤트보다 앞선지 뒤쳐지는지를 결정할 수 없음

운영자 명령 및 로봇 작업은 정의된 순서로 나타나지 않으며 모델은 인과 관계를 발견할 수 없음. 예를 들어 로봇이 운영자에게 명령을 받은 후에 작업을 수행한다는 것을 알고 있으나 명령과 작업 사이에는 다른 로봇에 대한 명령, 다른 로봇의 작업, 상황 또는 위치 이벤트 등이 발생할 수 있음

정밀도 부족은 특정 이벤트가 다른 특정 이벤트를 선행하는지를 결정하는 데 문제가 됨. 예를 들어 사고의 원인을 결정하기 위해 그것을 선행하는 이벤트를 연구할 수 있으나 완전한 모델은 사고 전에 발생하는 이벤트를 보여주지 않음

•결론적으로 이 모델은 작업의 빈도와 기간을 연구하는 데 사용할 수 있지만, mission의 진행상태를 결정하는 데 유용하지 않음.

•이러한 이유로 mission 전반에 걸친 다양한 모델과 운영자 또는 로봇에 중점을 둔 모델을 발견하였음.

•운영자 모델도 흥미로운 패턴을 나타냄. 표 5의 편차와 트레이스 사이의 비율은 경로의 백분율에 따라 다름. (M-C-1은 100%, M-C-2는 90% 등). 이러한 경로는 그들의 빈도에 따라 가장 적은 것부터 가장 일반적인 것까지 순서대로 제거. 따라서 최상의 적합성을 갖춘 운영자 모델을 찾고자 할 경우 모든 경로 대신 90%를 고려해야 함.

오늘 요약한 논문의 내용은 프로세스 마이닝에 활용되는 모델을 어떻게 개발하는지에 대한 부분이다. 프로세스 마이닝에 필요한 모델에는 Petri 네트와 Hidden Markov model, HMM이 가장 유명하다. 또한 국내 SW인 ProDiscovery를 사용한다면 Freqenct based map, Pttern based map 및 Filter based map이 활용 가능하다. 

필자 역시도 서비스 로봇의 데이터를 어떤 모델을 활용하여 시각화할 때가 가장 적합한지 연구한 결과 Pattern Based map을 활용하여 나타날 때 가장 이해하기가 쉬웠다. 하지만 모델 비교를 위해서 Petri 네트와 Hidden Markov model, HMM을 비교 분석을 해보려고 한다.

---