Ітеративне покращення інфрачервоних зображень у частотній області

Автор(и)

DOI:

https://doi.org/10.20535/S0021347024070045

Ключові слова:

інфрачервоне зображення, ітераційна обробка, частотна область, розширення ядра, ізотропна роздільна здатність пікселів

Анотація

У статті запропоновано підхід до покращення інфрачервоних зображень, який полягає в ітеративному застосуванні ядра покращення в циклі збільшення/зменшення зображення. Такий цикл виявляє і зменшує спотворення та розмиття дрібних деталей зображення, що є метою даного дослідження. Критерієм оцінки обрано ізотропну розрізненність пікселів цифрового зображення. Цей критерій наближає результат попередньої обробки до вимог візуальної інтерпретації інфрачервоного зображення. Вся обробка виконується в частотній області, що є вигідним з точки зору обчислювальних витрат. Обробка реальних інфрачервоних зображень з БПЛА демонструє покращення ізотропної піксельної розрізненності у 1,9–2,1 рази, що перевершує результати відомих однопрохідних алгоритмів. Запропонований підхід є гнучким та модульним і може бути легко реалізований як у наземній, так і в бортовій обробці інфрачервоних зображень.

Посилання

  1. M. Vollmer, K. Möllmann, Infrared Thermal Imaging. Weinheim: Wiley, 2017, doi: https://doi.org/10.1002/9783527693306.
  2. W. Si et al., “Recent advances in broadband photodetectors from infrared to terahertz,” Micromachines, vol. 15, no. 4, p. 427, 2024, doi: https://doi.org/10.3390/mi15040427.
  3. F. Bao, S. Jape, A. Schramka, J. Wang, T. E. McGraw, Z. Jacob, “Why thermal images are blurry,” Opt. Express, vol. 32, no. 3, p. 3852, 2024, doi: https://doi.org/10.1364/OE.506634.
  4. C. Lu, Y. Shi, “Infrared and visible image fusion: A survey of current research status,” in Proceedings of the 5th International Conference on Computer Information and Big Data Applications, 2024, pp. 883–887, doi: https://doi.org/10.1145/3671151.3671306.
  5. S. A. Stankevich, M. S. Lubskyi, A. R. Lysenko, “Long-wave infrared remote sensing data spatial resolution enhancement using modulation transfer function fusion approach,” in 2021 International Conference on Information and Digital Technologies (IDT), 2021, pp. 89–94, doi: https://doi.org/10.1109/IDT52577.2021.9497630.
  6. R. Dulski, P. Powalisz, M. Kastek, P. Trzaskawka, “Enhancing image quality produced by IR cameras,” in Proceedings of SPIE, 2010, p. 783415, doi: https://doi.org/10.1117/12.864979.
  7. F. Hou, Y. Zhang, Y. Zhou, M. Zhang, B. Lv, J. Wu, “Review on infrared imaging technology,” Sustainability, vol. 14, no. 18, p. 11161, 2022, doi: https://doi.org/10.3390/su141811161.
  8. H. Li, S. Wang, S. Li, H. Wang, S. Wen, F. Li, “Thermal infrared-image-enhancement algorithm based on multi-scale guided filtering,” Fire, vol. 7, no. 6, p. 192, 2024, doi: https://doi.org/10.3390/fire7060192.
  9. Y. Li, L. Ma, S. Yang, Q. Fu, H. Sun, C. Wang, “Infrared image-enhancement algorithm for weak targets in complex backgrounds,” Sensors, vol. 23, no. 13, p. 6215, 2023, doi: https://doi.org/10.3390/s23136215.
  10. J. Lange, T. Lange, “Optimal receive filter (Wiener filter),” in Fourier Transformation for Signal and System Description, Wiesbaden: Springer, 2022, pp. 51–56.
  11. B. T. Swartz, H. Zheng, G. T. Forcherio, J. Valentine, “Broadband and large-aperture metasurface edge encoders for incoherent infrared radiation,” Sci. Adv., vol. 10, no. 6, 2024, doi: https://doi.org/10.1126/sciadv.adk0024.
  12. A. Paul, T. Sutradhar, P. Bhattacharya, S. P. Maity, “Adaptive clip-limit-based bi-histogram equalization algorithm for infrared image enhancement,” Appl. Opt., vol. 59, no. 28, p. 9032, 2020, doi: https://doi.org/10.1364/AO.395848.
  13. R. Yang, L. Chen, L. Zhang, Z. Li, Y. Lin, Y. Wu, “Image enhancement via special functions and its application for near infrared imaging,” Glob. Challenges, vol. 7, no. 7, 2023, doi: https://doi.org/10.1002/gch2.202200179.
  14. W. Ma et al., “Infrared and visible image fusion technology and application: a review,” Sensors, vol. 23, no. 2, p. 599, 2023, doi: https://doi.org/10.3390/s23020599.
  15. W. Ding, D. Bi, L. He, Z. Fan, “Infrared and visible image fusion method based on sparse features,” Infrared Phys. Technol., vol. 92, pp. 372–380, 2018, doi: https://doi.org/10.1016/j.infrared.2018.06.029.
  16. Q. Fu, H. Fu, Y. Wu, “Infrared and visible image fusion based on mask and cross-dynamic fusion,” Electronics, vol. 12, no. 20, p. 4342, 2023, doi: https://doi.org/10.3390/electronics12204342.
  17. E. A. Donia, E.-S. M. El-Rabaie, F. E. A. El-Samie, O. S. Faragallah, N. A. El-Hag, “Infrared image fusion for quality enhancement,” J. Opt., vol. 52, no. 2, pp. 658–664, 2023, doi: https://doi.org/10.1007/s12596-022-01018-4.
  18. C. Sun, C. Zhang, N. Xiong, “Infrared and visible image fusion techniques based on deep learning: a review,” Electronics, vol. 9, no. 12, p. 2162, 2020, doi: https://doi.org/10.3390/electronics9122162.
  19. J. Ma, W. Yu, P. Liang, C. Li, J. Jiang, “FusionGAN: A generative adversarial network for infrared and visible image fusion,” Inf. Fusion, vol. 48, pp. 11–26, 2019, doi: https://doi.org/10.1016/j.inffus.2018.09.004.
  20. S. Zhong, L. Fu, F. Zhang, “Infrared image enhancement using convolutional neural networks for auto-driving,” Appl. Sci., vol. 13, no. 23, p. 12581, 2023, doi: https://doi.org/10.3390/app132312581.
  21. L. Hu, L. Hu, M. Chen, “Edge-enhanced infrared image super-resolution reconstruction model under transformer,” Sci. Reports, vol. 14, no. 1, p. 15585, 2024, doi: https://doi.org/10.1038/s41598-024-66302-8.
  22. K. Seshadrinathan et al., “Image quality assessment,” in The Essential Guide to Image Processing, Amsterdam: Elsevier, 2009, pp. 553–595.
  23. M. Testolina, T. Ebrahimi, “Review of subjective quality assessment methodologies and standards for compressed images evaluation,” in Applications of Digital Image Processing XLIV, 2021, p. 37, doi: https://doi.org/10.1117/12.2597813.
  24. D.-Y. Tsai, Y. Lee, E. Matsuyama, “Information entropy measure for evaluation of image quality,” J. Digit. Imaging, vol. 21, no. 3, pp. 338–347, 2008, doi: https://doi.org/10.1007/s10278-007-9044-5.
  25. Y. Ding, S. Wang, D. Zhang, “Full‐reference image quality assessment using statistical local correlation,” Electron. Lett., vol. 50, no. 2, pp. 79–81, 2014, doi: https://doi.org/10.1049/el.2013.3365.
  26. D. Varga, “No-reference image quality assessment with global statistical features,” J. Imaging, vol. 7, no. 2, p. 29, 2021, doi: https://doi.org/10.3390/jimaging7020029.
  27. U. Sara, M. Akter, M. S. Uddin, “Image quality assessment through FSIM, SSIM, MSE and PSNR—A comparative study,” J. Comput. Commun., vol. 07, no. 03, pp. 8–18, 2019, doi: https://doi.org/10.4236/jcc.2019.73002.
  28. A. Rubel, O. Ieremeiev, V. Lukin, J. Fastowicz, K. Okarma, “Combined no-reference image quality metrics for visual quality assessment optimized for remote sensing images,” Appl. Sci., vol. 12, no. 4, p. 1986, 2022, doi: https://doi.org/10.3390/app12041986.
  29. B. Bondzulic, V. Petrovic, M. Andric, B. Pavlovic, “Gradient-based image quality assessment,” Acta Polytech. Hungarica, vol. 15, no. 4, pp. 83–99, 2018, doi: https://doi.org/10.12700/APH.15.4.2018.4.5.
  30. S. Perfetto, J. Wilder, D. B. Walther, “Effects of spatial frequency filtering choices on the perception of filtered images,” Vision, vol. 4, no. 2, p. 29, 2020, doi: https://doi.org/10.3390/vision4020029.
  31. J. C. Leachtenauer, W. Malila, J. Irvine, L. Colburn, N. Salvaggio, “General image-quality equation for infrared imagery,” Appl. Opt., vol. 39, no. 26, p. 4826, 2000, doi: https://doi.org/10.1364/AO.39.004826.
  32. G. D. Boreman, Modulation Transfer Function in Optical and Electro-Optical Systems. Bellingham: SPIE, 2001, doi: https://doi.org/10.1117/3.419857.
  33. R. Gaber, A. AbdElmgied, A. Kareem, “Performance evaluation of infrared image enhancement techniques,” Int. J. Adv. Comput. Sci. Technol., vol. 11, no. 2, pp. 1–11, 2022, doi: https://doi.org/10.30534/ijacst/2022/011122022.
  34. D. K. Nagaiah, “Efficient performance analysis of image enhancement filtering methods using MATLAB,” Int. J. Innov. Technol. Explor. Eng., vol. 13, no. 2, pp. 1–5, 2024, doi: https://doi.org/10.35940/ijitee.B9777.13020124.
  35. H. S. Prasantha, H. L. Shashidhara, K. N. B. Murthy, “Fast computation of image scaling algorithms using frequency domain approach,” in Advances in Intelligent Systems and Computing, New Delhi: Springer, 2013, pp. 201–208.
  36. S. Sari, T. Shimamura, “Frequency domain Wiener filter for image denoising: derivation of a new power spectrum estimation method,” J. Signal Process., vol. 16, no. 1, pp. 79–85, 2012, doi: https://doi.org/10.2299/jsp.16.79.
  37. O. Gazi, Understanding Digital Signal Processing, vol. 13. Singapore: Springer Singapore, 2018, doi: https://doi.org/10.1007/978-981-10-4962-0.
  38. S. A. Stankevich, “Evaluation of the spatial resolution of digital aerospace image by the bidirectional point spread function parameterization,” in Advances in Intelligent Systems and Computing, Cham: Springer, 2021, pp. 317–327.
  39. A. M. Haun, E. Peli, “Complexities of complex contrast,” in Proceedings of SPIE, 2012, p. 82920E, doi: https://doi.org/10.1117/12.915365.
  40. A. R. Weeks, Fundamentals of Electronic Image Processing. Bellingham: SPIE, 1996, doi: https://doi.org/10.1117/3.227778.
  41. C. Liu, S. Jia, H. Wu, D. Zeng, F. Cheng, S. Zhang, “A spatial-frequency domain associated image-optimization method for illumination-robust image matching,” Sensors, vol. 20, no. 22, p. 6489, 2020, doi: https://doi.org/10.3390/s20226489.
  42. H. Bahonar, A. Mirzaei, S. Sadri, R. C. Wilson, “Graph embedding using frequency filtering,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 43, no. 2, pp. 473–484, 2021, doi: https://doi.org/10.1109/TPAMI.2019.2929519.
  43. Malik N.A., Chang C.-L., Chaudhary N.I., Kiani A.K. A review on computational heuristics in harmonics estimation: history, current topnotch, challenges and future prospects. Journal of Innovative Technology, 2024, vol. 6, no. 2, pp. 9-30. DOI: 10.29424/JIT.202409_6(2).0002
  44. Y. Liu, R. C. Paffenroth, “CNNs in the frequency domain for image super-resolution,” in 2019 International Conference on Image and Video Processing, and Artificial Intelligence, 2019, p. 40, doi: https://doi.org/10.1117/12.2539288.
  45. M. T. Pham, V. Q. Nguyen, C. D. Hoang, H. L. Vo, D. K. Phan, A. H. Nguyen, “Efficient complex valued neural network with Fourier transform on image denoising,” in The 5th International Conference on Future Networks & Distributed Systems, 2021, pp. 48–57, doi: https://doi.org/10.1145/3508072.3508081.
  46. J. Lou, J. Ji, Q. Zhou, X. Li, “Research and analysis of infrared image enhancement algorithm based on fractional differentiation,” J. Phys. Conf. Ser., vol. 2187, no. 112049, 2022, doi: https://doi.org/10.1088/1742-6596/2187/1/012049.
Інфрачервоні знімки з БПЛА та їх двовимірні амплітудні спектри

##submission.downloads##

Опубліковано

2024-06-26 — Оновлено 2024-06-26

Як цитувати

Станкевич, С. А., Кондратов, О. М., Герда, М. І., Масленко, О. В., & Саприкін, Є. Ю. (2024). Ітеративне покращення інфрачервоних зображень у частотній області. Вісті вищих учбових закладів. Радіоелектроніка, 67(6), 311–322. https://doi.org/10.20535/S0021347024070045

Номер

Том 67 № 6 (2024)

Розділ

Оригінальні статті

Ліцензія

Авторське право (c) 2024 Вісті вищих учбових закладів. Радіоелектроніка

Издатель журнала Известия высших учебных заведений. Радиоэлектроника (сокр. "Известия вузов. Радиоэлектроника"), Национальный технический университет Украины "Киевский политехнический институт", учитывает, что доступ автора к его статье является важным как для самого автора, так и для спонсоров его исследований. Мы представлены в базе издателей SHERPA/RoMEO как зеленый издатель (green publisher), что позволяет автору выполнять самоархивирование своей статьи. Однако важно, чтобы каждая из сторон четко понимала свои права. Просьба более детально ознакомиться с Политикой самоархивирования нашего журнала.

Политика оплаченного открытого доступа POA (paid open access), принятая в журнале, позволяет автору выполнить все необходимые требования по открытому доступу к своей статье, которые выдвигаются институтом, правительством или фондом при выделении финансирования. Просьба более детально ознакомиться с политикой оплаченного открытого доступа нашего журнала (см. отдельно).

Варианты доступа к статье:

1. Статья в открытом доступе POA (paid open access)

В этом случае права автора определяются лицензией CC BY (Creative Commons Attribution).

2. Статья с последующим доступом по подписке

В этом случае права автора определяются авторским договором, приведенным далее.

  • Автор (каждый соавтор) уступает Издателю журнала «Известия высших учебных заведений. Радиоэлектроника» НТУУ «КПИ» на срок действия авторского права эксклюзивные права на материалы статьи, в том числе право на публикацию данной статьи издательством Аллертон Пресс, США (Allerton Press) на английском языке в журнале «Radioelectronics and Communications Systems». Передача авторского права охватывает исключительное право на воспроизведение и распространение статьи, включая оттиски, переводы, фото воспроизведения, микроформы, электронные формы (он- и оффлайн), или любые иные подобные формы воспроизведения, а также право издателя на сублицензирование третьим лицам по своему усмотрению без дополнительных консультаций с автором. При этом журнал придерживается Политики конфиденциальности.
  • Передача прав включает право на обработку формы представления материалов с помощью компьютерных программам и систем (баз данных) для их использования и воспроизводства, публикации и распространения в электронном формате и внедрения в системы поиска (базы данных).
  • Воспроизведение, размещение, передача или иное распространение или использование материалов, содержащихся в статье должно сопровождаться ссылкой на Журнал и упоминанием Издателя, а именно: название статьи, имя автора (соавторов), название журнала, номер тома, номер выпуска, копирайт авторов и издателя "© Национальный технический университет Украины "Киевский политехнический институт"; © автор(ы)".
  • Автор (каждый соавтор) материалов сохраняет все права собственника материалов, включая патентные права на любые процессы, способы или методы и др., а также права на товарные знаки.
  • Издатель разрешает автору (каждому соавтору) материалов следующее:
  1. Право пользоваться печатными или электронными вариантами материалов статьи в форме и содержании, принятыми Издателем для публикации в Журнале. Подробнее см. политики Оплаченного открытого доступа, подписки и самоархивирования.
  2. Право бесплатно копировать или передавать коллегам копию напечатанной статьи целиком или частично для их личного или профессионального использования, для продвижения академических или научных исследований или для учебного процесса или других информационных целей, не связанных с коммерческими целями.
  3. Право использовать материалы из опубликованной статьи в написанной автором (соавторами) книге, монографии, учебнике, учебном пособии и других научных и научно-популярных изданиях.
  4. Право использовать отдельные рисунки или таблицы и отрывки текста из материалов в собственных целях обучения или для включения их в другую работу, которая печатается (в печатном или электронном формате) третьей стороной, или для представления в электронном формате во внутренние компьютерные сети или на внешние сайты автора (соавторов).
  • Автор (соавторы) соглашаются, что каждая копия материалов или любая ее часть, распространенная или размещенная ими в печатном или электронном формате, будет содержать указание на авторское право, предусмотренное в Журнале и полную ссылку на Журнал Издателя.
  • Автор (соавторы) гарантирует, что материалы являются оригинальной работой и представлены впервые на рассмотрение только в этом Журнале и ранее не публиковались. Если материалы написаны совместно с соавторами, автор гарантирует, что проинформировал их относительно условий публикации материалов и получил их подписи или письменное разрешение подписываться от их имени.
  • Если в материалы включаются отрывки из работ или имеются указания на работы, которые охраняются авторским правом и принадлежат третьей стороне, то автору необходимо получить разрешение владельца авторских прав на использование таких материалов в первом случае и сделать ссылку на первоисточник во втором.
  • Автор гарантирует, что материалы не содержат клеветнических высказываний и не посягают на права (включая без ограничений авторское право, права на патент или торговую марку) других лиц и не содержат материалы или инструкции, которые могут причинить вред или ущерб третьим лицам. Автор (каждый соавтор) гарантирует, что их публикация не приведет к разглашению секретных или конфиденциальных сведений (включая государственную тайну). Подтверждением этого является Экспертное заключение (см. перечень документов в Правила для авторов).
  • Издатель обязуется опубликовать материалы в случае получения статьей положительного решения редколлегии о публикации на основании внешнего рецензирования (см. Политика рецензирования).
  • В случае публикации статьи на английском языке в журнале «Radioelectronics and Communications Systems» (Издатель: Аллертон Пресс, США, распространитель Springer) автору (соавторам) выплачивается гонорар после выхода последнего номера журнала года, в котором опубликована данная статья.
  • Документ Согласие на публикацию, который подают русскоязычные авторы при подаче статьи в редакцию, является краткой формой данного договора, в котором изложены все ключевые моменты настоящего договора и наличие которого подтверждает согласие автора (соавторов) с ним. Аналогичным документом для англоязычных авторов является Copyright Transfer Agreement (CTA), предоставляемый издательством Allerton Press.
  • Настоящий Договор вступает в силу в момент принятия статьи к публикации. Если материалы не принимаются к публикации или до публикации в журнале автор (авторы) отозвал работу, настоящий Договор не приобретает (теряет) силу.