[카카오AI리포트]최신 AI 논문: 의료 영상
이지민 | 서울대 방사선의학물리연구실
CNN 기반 엑스레이 CT 메탈아티팩트 제거 방법
(Convolutional Neural Network based Metal Artifact Reduction in X-ray Computed Tomography)*7
[ 그림 1 ] MAR에 사용되는 CNN 구조영상(image) 기반 문제 해결에 CNN과 GAN과 같은 딥러닝 알고리듬이 높은 성능을 보이고 있는 요즘, 의료 AI 분야에서도 의료 영상 데이터를 이용한 연구가 활발히 진행되고 있다. 이번 호에서는 의료 영상 중 잘 알려진 CT (computed tomography) 영상의 여러 문제들을 딥러닝을 통해 해결해 보고자 하는 논문에 대해 리뷰하고자 한다. 소개하는 논문은 CT 영상에서 발생하는 메탈아티팩트(metal artifact)*8를 딥러닝을 이용해 제거해보고자 하는 연구를 담고 있다.
논문 소개
본 논문은 직접 CT 영상 데이터베이스를 만들어 CNN과 기존의 MAR(metal artifact reduction) 방법을 적절히 차용하여 향상된 성능을 보여준다. 데이터 확보를 위해 필요한 CT 영상을 수치 시뮬레이션(numerical simulation)하여 직접 생성한 것과, CNN 학습 시 기존에 알려진 MAR 방법인 BHC (beam hardening correction)와 LI (linear interpolation)를 학습에 반영하고자 한 것이 흥미롭다.
연구 방법
1) Metal Artifact Database 생성(numerical simulation 방법 사용)
・ "The 2016 Low-dose CT Grand Challenge" 학습 데이터셋(training dataset)을 사용하였다.
・ 위 데이터 셋에서 메탈 아티팩트가 발생한 영상을 추출하여 금속 부분을 분리(segmentation)하고 바이너리 이미지(binary image)로 저장하는 방법을 통해 [그림 2]의 Metal Implants 에 해당하는 총 15개의 금속 형태(metal shape)를 추출하였다.
・ [그림 2]의 Metal-free에 해당하는 74장의 금속이 없는(metal-free) CT에서 추출한 metal shape를 최대한 실제 임상 케이스(clinical case)에 맞도록 금속의 모양, 위치, 재질(티타늄, 철,구리, 금) 등을 조절하고 삽입하여, 총 100개의 CT 를 합성하였다.이것이 [그림 2]의 Metal-inserted에 해당한다.
・ Metal-inserted 영상을 기존에 사용되던 MAR 방법인 BHC과 LI를 적용하여 각각 추가 영상 [그림 2]의 BHC와 LI 를 획득하였다.
[ 그림 2 ] 유형별 대표 샘플2) CNN 학습
・ 입력 : 64×64×3 image patch (Metal-inserted, BHC, LI 영상을 3채널로 묶고, 작은 패치(patch)로 추출, 원본 이미지 크기 : 512×512)
・ 타겟 : 64×64 image patch (Input patch 와 동일 위치의 metal-free image 에서 추출한 patch)
・ 비용함수(cost function) :
(|| ・ ||F : Frobenius norm, R : 학습샘플의 수, H(ur): 입력 데이터셋,Vr: 타겟 데이터셋)
・ 학습 소요 시간 : 25.5 시간(2000 iterations with GeForce GTX 970 GPU)
3) CNN-MAR method
・[그림 3] 에서 CNN을 접목한 MAR 방법을 도식화하여 보여주고있다.
・먼저 원본 사이노그램(Original Sinogram) 으로부터 Original(Metal-inserted)*9, BHC, LI 영상을 생성하여 3 채널로 묶는다.
・2)에서 학습된 CNN을 통해 3 채널로 묶인 영상으로부터 메탈 아티팩트가 감소된 CNN 생성 이미지(CNN generated image)가 생성된다.
・CNN generated image 로부터 tissue processing을 하여 CNN Prior 영상을 생성하고, 전방 투시법(forward projection)을 통해 1차 사이노그램(Prior Sinogram)이 생성된다.
*사이노그램이란?
CT는 방사선(x-ray)을 인체에 투과시켜 얻은 정보들로 영상을 재구성하여 만들어진다.x-ray가 어떤 물체를 통과하고 난 이후의 세기를 측정하면, p(s, Φ)를 획득할 수 있게 되는데, 이를 조사각도 Φ에서의 투사된 영상(projection)이라고 한다. 그리고 x-ray를 여러 각도에서 조사하여 투사된 영상을 얻으면, 각도에 따라 p(s, Φ)도 달라진다.*10 이렇게 획득한 p(s, Φ)를 s와 Φ를 양 축으로 한 2차원 평면에 나타낸 것이 사이노그램이다.*11
・맨 왼쪽의 Original (Metal-inserted) Image 로부터 금속 부분만 분리하여 금속 부분만 나타난 이미지(Metal Only Image)를 생성하고 전방투사법을 하면 금속 모양(metal trace) 만 있는사이노그램이 생성된다.
・Metal Trace Sinogram 과 Prior Sinogram을 이용해 Original Sinogram 으로부터 메탈의 흔적을 제거하면(metal trace replacement)를 하면 보정된 사이노그램(corrected sinogram)이 된다.
・Corrected Sinogram을 FBP (filtered back projection: Sinogram을 영상으로 변환해주는 과정인 FBP)를 하면 최종적으로 CNN-MAR 이미지가 생성되게 된다.
[ 그림 3 ] CNN-MAR 방법의 흐름도(flowchart)4) Numerical Simulation을 통해 생성된 영상(metal artifact database)에 대한 CNN-MAR 성능 평가
학습에 사용되지 않은 세 가지 케이스를 통해 제안된 CNN-MAR 방법의 성능을 평가해보았다.
[ 그림 4 ] 고관절 인공보철물(two hip prostheses)이 삽입된 고관절 영상에서의 실험결과, Case 1
[ 그림 5 ] 여러 보철물이 삽입된 어깨 부위 영상에서의 실험결과, Case2
[ 그림 6 ] 충치 치료 시 사용하는 치과용 충전제(several dental fillings)가 삽입된 치아부위 영상에서의 실험 결과, Case 3본 논문에서 제안한 CNN-MAR 방법을 비롯하여 기존에 사용되던 MAR 방법인 BHC, LI, NMAR (normalized metal artifact reduction) 방법을 통해 생성된 영상들과 레퍼런스 영상을 비교하기 위해서, 평균 제곱근오차(root mean squared error, RMSE) 와 구조 유사도(structural similarity, SSIM) 인덱스(index)를 사용해 정량적으로 평가하였다.
5) 실제 환자 CT (real data) 에 대한 CNN-MAR 성능 평가
CNN-MAR 방법의 성능을 평가하기 위해 Numerical Simulation을 통해 생성된 영상이 아닌 실제 환자의 영상도 평가에 사용되었다.
[ 그림 7 ] 두경부 영상에서의 실험 결과환자는 머리에 외과용 클립(surgical clip) 이 삽입되어 있으며 [그림 7]을 보면, 촬영에는 지멘스(Siemens)의 소마톰(SOMATOM Sensation 16 CT scanner)이 사용 되었다.(120 kVp, 496 mAs)촬영을 통해 1160개의 투사된 영상(projection view)을 얻었으며, 외과용 클립으로 인해 발생한 메탈 아티팩트를 CNN-MAR 및 다른 방법으로 개선한 뒤 그 성능을 비교하였다.
실험 결과
1) Numerical Simulation을 통해 생성한 영상에 대한 결과 [그림 4], [그림 5], [그림 6]을 보면 세 케이스 모두 CNN-MAR 방법을 적용했을 때, 피부 조직 부분을 잘 보존하면서도 가장 레퍼런스 이미지(reference image)에 가까운 복원능력을 보여주었다.
[ 표 1 ] 수치 시뮬레이션 연구결과, 복원된 영상들의 평균 제곱근오차(RMSE)[표 1]은 각각의 MAR 방법으로 복원된 영상들과 레퍼런스 이미지와의 RMSE(평균 제곱근오차)를 계산한 결과이다. CNN-MAR 방법을 통해 복원된 영상이 모든 케이스에서 가장 작은 RMSE값을 가짐을 알 수 있다.
[ 표 2 ] 수치 시뮬레이션 연구결과, 복원된 영상들의 구조 유사도(SSIM)[표 2]는 각각의 MAR 방법으로 복원된 영상들의 구조 유사도를 비교한 결과이다. 구조 유사도 역시 CNN-MAR 방법을 통해 복원된 영상에서 가장 높은 결과를 보였다.
2) 임상 적용(clinical application)
[그림 7]을 보면, 실제 환자 CT 영상에 대해서도 CNN-MAR 기법이 가장 우수한 성능을 보인 것을 확인할 수 있다. CNN-MAR 방법을 적용할 경우, 메탈 아티팩트가 잘 제거되었고 (화살표 1로 표시된 검은 부분들이 잘 복원됨), 뼈 구조(bony structures) 역시 변형시키지 않았다.
3) Properties of the Proposed CNN-MAR
CNN-MAR 방법의 특성을 알아보기 위해 다양한 실험을 추가적으로 진행하였다.
[ 그림 8 ] Tissue Processing 없이 CNN 만으로 실험한 결과 ・ 우선 tissue processing 의 효과를 확인하기 위해, tissue processing 없이 CNN 만으로 prior image 를 생성해 본 결과, 메탈 아티팩트가 완전히 사라지지 않고 일부 남아있는 모습을 보였다. ([그림 8]의 화살표 참고)
・ 따라서 CNN 과 tissue processing 은 서로 상호 보완적인 관계로 활용되고 있다는 것을 알 수 있다.
・ 또한 CNN의 입력값(input)으로 원본 이미지(original image)와함께 들어가는 기존의 다양한 MAR 적용 영상들에 대해서도 평가해보고자, 입력값(input)을 다양한 채널로 구성하여 추가 실험을 진행했다. (2 채널 : Original + LI / 3 채널 : Original + BHC+ LI / 5 채널 : Original + BHC + LI + NMAR1 + NMAR2)
[ 표 4 ] 채널별 CNN과 CNN-MAR 방식으로 복원된 영상들의 평균 제곱근오차(RMSE)와 구조 유사도(SSIM)・ [표 3]의 결과를 보면 5 채널 의 경우 성능이 가장 좋았으며 [표 3],이는 CNN이 기존의 다양한 종류의 MAR 방법들을 통합할 수 있는 가능성을 지닌다고 저자들은 설명하였다.
결론
연구 결과, 제안된 CNN-MAR 방법에서 사용된 CNN 과 tissue processing 은 상호 보완적인 관계를 가지며, 함께 사용되어 메탈 아티팩트를 줄이고 주변의 세밀한 구조들을 복원하는 우수한 성능을 보여주었다. (CNN 은 서로 다른 MAR 방법으로부터 유용한 정보를 융합하였으며, tissue processing 은 대부분의 아티팩트를 제거하고 우수한 품질의 prior image를 생성하였다.) 이후 추가 연구를 통해 학습 데이터를 늘리고 다양한 MAR 방법을 융합하여, CNN-MAR 방법의 성능을 향상시킬 예정이라고 한다.
글 | 이지민 ljm861@gmail.com
늘 행복하고 싶은 대학원생. 학부 때는 딥러닝과 전혀 상관없는 원자력 및 양자공학을 전공하였고,대학원에 진학하여 의학물리학을 공부하던 중 교수님의 추천으로 딥러닝 공부도 함께 시작하게 되었다. 학부 때 여러 행사를 준비했던 경험이 있어 운이 좋게도 TensorFlowKR 운영진으로활동하게 되었으며, 지식의 교류가 활발한 이 분야에 엄청난 매력을 느끼고 있다. 현재 라이언의 무심한 귀여움에 반해 짝사랑 중이며, 핸드폰 케이스, 마우스 패드를 포함한 라이언 굿즈를 10개넘게 보유하고 있다.
참고문헌
*7 논문 | Zhang,Y. & Yu, H. (2017). Convolutional neural network based metal artifact reduction in X-ray computed tomography, arXiv:1709.01581.
*8 참고 | CT 영상은 몸에 방사선(x-ray)을 조사하여 획득하게 되는데, 체내에 금속성 물질(예: 금니, 인공 관절, 인공심장박동기 등)을 삽입한 환자가 CT를 찍게 되면 Beam Hardening Effect, 산란(scatter), 푸아송 노이즈(Poisson noise), 환자의 움직임(motion) 등의 다양한 원인에 의해 영상에 인공 음영이 생성된다. 이렇게 몸에 삽입된 금속성 물질로 인해 발생하는 인공 음영을 메탈 아티팩트라고 일컫는다. 메탈 아티팩트를 감소시킬 목적으로 지멘스(SIEMENS)의 iMAR#, 필립스(PHILIPS)의 OMAR, GE헬스케어(GE Healthcare)의 Smart MAR 등의 상용화된 MAR 소프트웨어가 출시 되었지만, 아직까지도 촬영 부위에 따라 효과적이지 못한 경우가 많이 발생하고 있다. 따라서 이 문제를 해결하고 영상의 품질을 개선하려는 연구들이 현재까지 계속되고 있다. 최근 딥러닝을 활용한 영상연구가 괄목하게 발전하면서, 메탈 아티팩트 문제도 딥러닝을 접목해서 해결하려는 연구가 활발하게 전개되고 있다.
*9 참고 | 같은 논문의 III. B. Tissue Processing에 자세히 설명되어 있습니다.
*10 참고 | http://terms.naver.com/entry.nhn?docId=3572221&cid=58944&categoryId=58970 *11 참고 | https://patentimages.storage.googleapis.com/US8509504B2/US08509504-20130813-D00000.png
[카카오 AI 리포트] Vol. 7_06. 다운받기
[카카오 AI 리포트] Vol. 7 전체글 다운받기
