기존의 교차 모달 보행자 재식별 방법은 적외선과 가시광 이미지 간의 큰 모달 차이를 효과적으로 처리하기 어려우며, 일반적으로 특징 정렬의 어려움과 판별 능력 부족이라는 문제에 직면하여 인식 성능을 심각하게 제한하고 있다. 이러한 문제를 해결하기 위해 본 논문에서는 특징의 내재적 연관성 강화 및 주파수 영역의 잠재 정보 발굴 관점에서 관계 모델링과 스펙트럼 변환 기반 교차 모달 보행자 재식별 방법을 제안한다. 먼저, 국부 특징 의미 정렬 어려움 문제에 대해 조각 관계 모델링 구조와 자기 주의 메커니즘을 도입하여 모달 내 국부 특징 연관성을 강화하고 보다 긴밀한 문맥 정보를 구축한다; 둘째, 단일 스케일 특징 정보량 부족의 한계를 극복하기 위해 다중 스케일 특징 강화 모듈을 설계하여 다중 입자감지를 통해 네트워크의 보행자 미세 차이 포착 능력을 향상시킨다; 마지막으로 주파수 영역 관점에서 특징 추출 과정 중 더 많은 잠재 스펙트럼 정보를 발굴하기 위해 채널 스펙트럼 변환 과정을 설계한다. 실험 결과 제안된 방법은 SYSU-MM01 데이터셋 전체 검색 모드에서 Rank-1 및 mAP가 각각 84.8%와 81.5%에 도달했으며, RegDB 데이터셋에서는 각각 92.6%와 87.1%, LLCM 데이터셋에서는 각각 58.0%와 64.5%에 도달하였다. 이 결과는 모든 지표에서 현존하는 주류 방법보다 우수함을 충분히 입증하여 제안된 방법의 효과성과 우월성을 확인하였다.

보행자 재식별; 교차 모달; 이미지-텍스트 상호작용; 채널 스펙트럼; 주의 메커니즘