Rede de detecção de bordas baseada em Transformer

LIN Jianpu ,  

LI Xianguang ,  

LIN Shanling ,  

LÜ Shanhong ,  

LIN Zhixian ,  

摘要

Os métodos predominantes atuais de detecção de bordas baseados em redes neurais convolucionais apresentam limitações no alcance do campo receptivo e na percepção de bordas finas. Com o desenvolvimento do Transformer visual, sua capacidade de modelagem global e o mecanismo flexível de interação de informações trouxeram novas possibilidades para a tarefa de detecção de bordas. Para resolver esse problema, este artigo propõe um modelo codificador-decodificador TFEdge que combina Transformer visual, pirâmide de agregação multinível e módulo de agregação de atenção multiescala para detecção de bordas de alta precisão. O modelo introduz o Dilated Neighborhood Attention Transformer como a rede principal, extraindo informações globais de contexto e pistas locais de bordas por meio de um design em várias etapas. Ao mesmo tempo, foi projetada uma pirâmide de características de agregação multinível para agregar as características profundas e superficiais de cada estágio, conferindo às características superficiais características semânticas mais ricas para suprimir o ruído da imagem e melhorar a capacidade de detecção de bordas pouco evidentes. Finalmente, propõe-se um módulo de agregação de atenção multiescala baseado no mecanismo de atenção, que agrega informações de atenção espacial e por canal em cruzamento de escala da imagem, fortalecendo ainda mais a representação das características. Os experimentos foram avaliados nos conjuntos de dados BSDS500 e NYUDv2; o TFEdge alcançou pontuações ODS e OIS F de 0,857 e 0,874 no BSDS500 e 0,788 e 0,801 no NYUDv2, respectivamente. Em comparação com vários métodos existentes, o TFEdge demonstra um desempenho superior na detecção de bordas tanto em resultados quantitativos quanto qualitativos.

关键词

detecção de bordas;Transformer;mecanismo de atenção;pirâmide de agregação multinível;reforço de atenção multiescala

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website