Devido aos problemas existentes nos métodos atuais de localização visual 3D, como a forte dependência de uma única modalidade de informação, a baixa adaptabilidade a variações de ponto de vista e a eficácia limitada na fusão de características multimodais, foi proposto um método de localização visual 3D baseado em aprendizado intermodal interativo e fusão iterativa. O método compreende duas fases: extração de características multimodais e fusão de características intermodais. Na fase de extração de características, codificadores de nuvem de pontos e de texto são usados para extrair características da nuvem de pontos e do texto, introduzindo informações de categoria da nuvem de pontos; na fase de fusão de características, é projetado um módulo de aprimoramento de características da nuvem de pontos baseado em Transformer para melhorar a capacidade representativa das características da nuvem de pontos; por meio de um módulo de aprendizado interativo simétrico, são capturadas correlações profundas entre as características da nuvem de pontos e do texto, suprimindo efetivamente interferências de características irrelevantes; um módulo de fusão iterativa intermodal integra progressivamente as informações intermodais, fortalecendo a capacidade do modelo de localização em cenários complexos. Os resultados experimentais mostram que o método proposto alcança melhorias abrangentes na precisão em três conjuntos de dados clássicos de localização visual 3D: ScanRefer, Nr3D e Sr3D. No subconjunto único do ScanRefer, as taxas Acc@0.25 e Acc@0.5 atingiram 86,19% e 69,68%, respectivamente; nos subconjuntos fáceis do Nr3D e Sr3D, as taxas de localização foram 65,20% e 74,87%, respectivamente. O método demonstra capacidade estável de localização em diversos cenários 3D, validando seu desempenho excepcional no aprimoramento da interação multimodal e fusão intermodal.

Localização visual 3D; nuvem de pontos; aprendizado interativo; fusão iterativa; Transformer