Para lidar com a baixa eficiência dos algoritmos tradicionais de detecção de características em visão binocular, a pouca atenção da maioria dos modelos de rede para características globais importantes e o grande número de parâmetros, é proposto um método de localização e medição em visão binocular baseado na rede TransUNet com mecanismo de atenção multiescala. Primeiramente, câmeras binocular paralelas calibradas são usadas para coletar dados das imagens esquerda e direita do tarugo de lingotamento contínuo, construindo o conjunto de dados. Em seguida, utiliza-se a rede TransUNet como estrutura básica, introduzindo uma camada Transformer melhorada para extração da informação de contexto global; é proposto um módulo de atenção de grupo espacial global GSGA (Global Spatial Group Attention) adicionado no final de cada decodificador, que utiliza agrupamento e mecanismo de atenção multiescala para aumentar a atenção às características globais importantes; no salto de conexão entre codificador e decodificador e após interpolação bilinear, é adicionado o módulo CBAM (Convolutional Block Attention Module), que combina os mecanismos de atenção espacial e de canal para melhorar a capacidade de reconhecimento de pontos-chave. Finalmente, combinando o princípio da visão binocular, realiza-se a reconstrução das coordenadas tridimensionais e a medição da distância das coordenadas chave de saída da rede. Os resultados experimentais mostram que: comparado ao modelo Transformer, o erro médio quadrático e o erro normalizado diminuíram em 40,96% e 45,83%, respectivamente, o número de parâmetros e o número de operações de ponto flutuante reduziram-se em 10,58% e 8,21%, respectivamente, e o tempo de inferência por lote foi reduzido em 30,52%. Na medição tridimensional, o erro relativo de medição atingiu 0,137%, significativamente superior aos algoritmos tradicionais de detecção de características, atendendo aos requisitos de localização e medição em visão binocular.

visão binocular; TransUnet; detecção de pontos-chave; mecanismo de atenção