O rápido desenvolvimento da tecnologia de imageamento hiperespectral trouxe novas oportunidades para a imagiologia médica não invasiva, mas as imagens médicas hiperespectrais possuem alta dimensionalidade, alta redundância e a característica de "união de espectro e imagem", exigindo o desenvolvimento de algoritmos de diagnóstico inteligentes adaptados a essas características. Nos últimos anos, o Transformer tem sido amplamente aplicado no processamento de imagens médicas hiperespectrais. No entanto, as imagens médicas hiperespectrais obtidas por diferentes dispositivos e operações de coleta variam significativamente, o que representa um grande desafio para a aplicação prática dos modelos de diagnóstico Transformer existentes. Para resolver esses problemas, este artigo propõe um Transformer de autoatenção espaço-espectral (S³AT), que explora adaptativamente as relações implícitas entre pixels e pixels, bem como entre bandas espectrais, e integra os resultados das previsões em múltiplas escalas durante a fase de classificação. Primeiro, no codificador Transformer, foi projetado um mecanismo de autoatenção espaço-espectral para obter informações espaciais-chave e bandas importantes das imagens hiperespectrais em diferentes escalas, e integrar as autoatenções espaço-espectrais obtidas. Em seguida, na fase de classificação do modelo, os resultados das previsões em diferentes escalas são combinados por ponderação baseada em pesos aprendíveis para realizar uma previsão abrangente da imagem. Nos conjuntos de dados In-vivo Human Brain e BloodCell HSI, o algoritmo alcançou uma precisão geral de classificação de 82,25% e 91,74%, respectivamente. Os resultados experimentais mostram que o algoritmo proposto melhora eficazmente o desempenho da classificação de imagens médicas hiperespectrais.

imagens médicas hiperespectrais;Transformer;autoatenção espaço-espectral;fusão de previsões