[Multimodal Fusion 전략 비교 실험 — MOSAIC-ST에서 어떤 Fusion이 효과적인가]
이 글은 종양 예측 프레임워크 MOSAIC-ST 구현 과정에서 수행한 fusion strategy 비교 실험 과정을 정리하였다. 단순 concat부터 attention, similarity, gated fusion까지 네 가지 전략을 직접 비교하고, 인코더 구조와의 상호작용까지 함께 분석하였다. 1. 실험 배경멀티모달 학습에서 "어떻게 두 modality를 합치느냐"는 성능에 생각보다 큰 영향을 준다. 단순히 feature를 이어붙이는 것(concat)과, 두 modality 간 관계를 명시적으로 모델링하는 것(attention, gated) 사이에는 분명한 차이가 존재한다. MOSAIC-ST는 WSI 이미지와 Spatial Transcriptomics(ST) 데이터를 통합하는 프레임워크인데, spot..
졸프
2026. 5. 8. 20:57