기존의 지시 표현 분할 방법은 다중양식 세밀한 이해 정렬 및 텍스트 정보의 효율적 활용에 있어 현저한 부족함이 있으며, 이는 주로 시각 특징의 공간적 중복 및 의미적 모호성, 언어 설명의 지시적 중의성 및 어휘 수준 의미 무시, 융합 모듈이 텍스트 정보를 충분히 활용하지 못하는 점에서 나타난다. 이러한 문제를 해결하기 위해 본 논문에서는 양방향 특징 조절 및 텍스트 안내 점진적 융합 기반 세밀한 지시 표현 분할 방법을 제안한다. 사전 학습된 BEIT3를 이미지-텍스트 인코더로 사용하고, 양방향 특징 조절 모듈을 설계하여 텍스트가 시각 조절을 안내하여 시각 공간 중복 특징을 필터링하고, 시각이 텍스트 조절을 안내하여 무관 단어의 가중치를 낮춘다. 이를 바탕으로 텍스트 안내 점진적 융합 모듈을 설계하여 다층 크로스모달 어텐션을 통해 텍스트 특징과 이미지의 고차원 의미 특징을 점진적으로 융합하고 다층 퍼셉트론으로 분할 마스크를 얻는다. 실험 결과 본 방법은 세 가지 고전 지시 표현 분할 데이터셋에서 모두 유의미한 정확도 향상을 보였다. RefCOCO의 세 하위 집합에서 각각 77.12%, 79.46%, 73.45%, RefCOCO+의 세 하위 집합에서 각각 69.72%, 72.86%, 62.42%, RefCOCOg의 두 하위 집합에서 각각 69.12%, 69.58%의 정확도를 달성하였다. 본 방법은 우수한 일반화 능력과 세밀한 다중양식 이해 정렬 능력을 갖추고 있어 안정적인 지시 표현 분할 작업을 수행할 수 있다.

지시 표현 분할; 다중양식 정렬; 양방향 특징 조절; 텍스트 안내 점진적 융합; 세밀한 이해