Multi-View Self-Supervised Learning Method Comparison with ECG Signals and Images

초록·키워드 최근 멀티모달 자기지도 학습이 활발히 연구되며 심전도 분야에서도 이를 적용하려는 시도가 증가하고 있다. 그러나 기존 연구는 신호-진단 보고서 조합의 대조 기반 학습에 집중되어 두 가지 한계를 지닌다. 첫째, 진단 보고서는 전문의의 해석이 반영된 2차 데이터로 대규모 수집이 어렵고, 학습 과정에서 모델이 진단 관련 단서에 의존할 가능성이 있다. 둘째, 대조 기반 정렬에만 초점을 두어 다양한 학습 전략이 충분히 탐색되지 못하였다. 이에 본 연구에서는 1차 데이터인 심전도 신호와 기록지 이미지를 활용한 멀티뷰 자기지도 학습을 탐구한다. 두 뷰로 활용되는 신호와 이미지는 동일한 심전도를 기반으로 하면서도 서로 다른 정보를 담고 있어 상호 보완적인 뷰로 작용한다. 멀티뷰 자기지도 학습을 위해 심전도 신호를 기록지 이미지로 변환하여 신호-이미지 데이터셋을 구축하고, 대조 및 생성 기반 학습 방법을 적용하여 그 효과를 정량적 및 정성적으로 평가한다. Recently, multimodal self-supervised learning has gained significant attention, particularly in its application to electrocardiography (ECG). However, previous studies have primarily focused on contrastive learning using signal–diagnostic report pairs, resulting in two main limitations. First, diagnostic reports, which reflect expert interpretation, are secondary data that are difficult to collect at scale and may lead models to rely on diagnosis-related cues during training. Second, existing approaches are limited to contrastive alignment, leaving other diverse learning strategies underexplored. To address these issues, this study investigates multi-view self-supervised learning using ECG signals and paper-record images, both of which are primary data. Although the two views are derived from the same ECG, they capture different information, making them mutually complementary. Specifically, ECG signals are converted into paper-record images to create a signal– image multi-view dataset, and both contrastive and generative learning methods are applied and evaluated quantitatively and qualitatively. 전체보기 #심전도 #멀티뷰 자기지도 학습 #대조 기반 학습 #생성 기반 학습 #electrocardiograms(ECG) #multi-view self-supervised learning #contrastive learning #generative learning