В связи с проблемами слияния инфракрасных и видимых изображений при низкой освещенности, такими как нечеткость текстурных деталей и плохое визуальное восприятие из-за игнорирования освещения, в данной работе предлагается метод многомасштабного слияния инфракрасных и видимых изображений с усилением при слабом освещении и семантической инъекцией. Сначала была разработана сеть, подходящая для усиления при слабом освещении, которая через итерации остаточной модели улучшает видимые изображения в ночных условиях. Затем в качестве кодера и декодера сети используется извлекатель признаков на основе архитектуры Nest, где глубокие признаки захватывают сложную структуру изображения и семантическую информацию. Разработан модуль семантического приоритета, который с помощью перекрестного внимания дополнительно извлекает семантическую информацию из глубоких инфракрасных и видимых изображений, а семантическое инъекционное устройство ступенчато вводит улучшенные признаки на разных масштабах. Далее разработана ветвь усиления градиента: основные признаки проходят через смешанное внимание, а затем делятся на потоки операторов Собеля и Лапласиана для усиления градиентов сливаемого изображения. Наконец, с помощью плотных соединений внутри слоя и скип-соединений между слоями в декодере выполняется реконструкция признаков на разных масштабах. Экспериментальные результаты показывают, что предложенный метод в среднем улучшил достоверность визуальной информации, взаимную информацию, коэффициент корреляции разности и пространственную частоту на 23,1%, 16,3%, 18% и 39,8% соответственно по сравнению с девятью методами, эффективно повысив качество сливаемых изображений в условиях низкой освещенности и помогая улучшить производительность продвинутых визуальных задач.

слияние инфракрасных и видимых изображений;многомасштабная сетевая интеграция;усиление при низкой освещенности;перекрестное внимание;семантическая инъекция