MuSiC-ViT: A multi-task Siamese convolutional vision transformer for differentiating change from no-change in follow-up chest radiographs

Paper link: https://doi.org/10.1016/j.media.2023.102894

Redirecting

해당 논문 간단 소개

일반적인 임상 환경에서 영상의학과 의사들의 주요 업무 중 하나는 환자 상태의 변화를 확인하기 위해 추적 흉부 방사선 영상(CXR)을 판독하는 것입니다. 후속 CXR에서 의미 있는 변화를 진단하는 것은 오롯이 질병의 변화를 찾아야 하는데 환자의 호흡 패턴 또는 불안정한 자세의 변화 때문에 매우 어렵습니다.

그래서 저희는 이전에 촬영한 CXR과 현재 촬영한 CXR의 변화유무를 구별하기 위하여 영상의학과 의사의 인지과정을 모방하기 위해 해부학 일치 모듈(AMM)을 갖춘 Multi-task Siamese CNN ViT (MuSiC-ViT)의 사용을 제안합니다.

MuSiC-ViT는 합성곱 신경망(CNN)과 트랜스포머 아키텍처를 결합한 hybrid ViT 모델을 사용합니다. 이 모델은 세 가지 주요 구성요소를 갖추고 있습니다: Siamese architecture, AMM and Multi-task learning 입니다. 

AMM은 CXR 쌍의 서로 연관된 부분에 주목하는 attention module입니다. 영상의학과 의사의 인지과정을 모방하기 위해 MuSiC-ViT는 Multi-task learning 학습, 정상/비정상 및 변화/무변화 분류, 그리고 anatomical matching를 사용하여 훈련되었습니다.

40만 6천개의 CXR 중 8만 8천개의 변화 및 11만 5천개의 무변화 pair 훈련 데이터셋으로 확보되었습니다. 내부 검증 데이터셋은 1,620개의 쌍으로 구성되었습니다. MuSiC-ViT의 robustness을 입증하기 위해 우리는 두 개의 다른 검증 데이터셋으로 결과를 확인하였습니다. MuSiC-ViT는 내부 검증 데이터셋에서 각각 0.728의 ACC와 0.797의 AUROC를 달성했으며, 첫 번째 외부 검증 데이터셋에서는 각각 0.614와 0.784, 두 번째 시간적으로 분리된 검증 데이터셋에서는 각각 0.745와 0.858의 ACC와 AUROC를 달성하였습니다.

 

첫 두자리 IF 논문