СБОР И ПРЕДОБРАБОТКА ДАННЫХ С SWIR-КАМЕР ДЛЯ ОБУЧЕНИЯ НЕЙРОННОЙ СЕТИ ДЛЯ РАСПОЗНАВАНИЯ ОБЪЕКТОВ
DOI:
https://doi.org/10.56132/2791-3368-2026-2-66-52-64Ключевые слова:
SWIR-камера, коротковолновый инфракрасный диапазон, предобработка изображений, коррекция неоднородности, CLAHE, YOLOv8, распознавание объектов, компьютерное зрение, InGaAs, всепогодный мониторингАннотация
В статье рассматривается задача сбора и предварительной обработки данных, получаемых с SWIR-камер, для последующего обучения нейронной сети распознаванию объектов в условиях ограниченной видимости. Актуальность исследования обусловлена тем, что изображения коротковолнового инфракрасного диапазона обладают высокой информативностью при тумане, задымлении и низкой освещенности, однако характеризуются специфическими шумами InGaAs-матриц, наличием дефектных пикселей и пониженной контрастностью. В работе сформирован специализированный набор данных, включающий изображения пешеходов и транспортных средств, выполненные в различных уличных условиях. Предложен двухэтапный алгоритм предобработки, включающий коррекцию неоднородности (NUC) и адаптивное выравнивание гистограммы (CLAHE). Для оценки эффективности подхода использована архитектура YOLOv8. Экспериментальные результаты показали, что предложенная методика позволяет повысить значение PSNR на 18,4%, SSIM на 12,6%, а также увеличить точность распознавания объектов по метрике mAP@0.5 до 0,87 для транспортных средств и до 0,79 для пешеходов. Показано, что разработанный пайплайн может применяться в системах всепогодного мониторинга и беспилотного транспорта в режиме реального времени.
Скачивания
Библиографические ссылки
1. Pavlović, M. S., Milanović, P. D., Stanković, M. S., Perić, D. B., Popadić, I. V., & Perić, M. V. (2022). Deep Learning Based SWIR Object Detection in Long-Range Surveillance Systems: An Automated Cross-Spectral Approach. Sensors, 22(7), 2562. https://doi.org/10.3390/s22072562
2. Park, J., Hong, J., Shim, W., & Jung, D.-J. (2023). Multi-Object Tracking on SWIR Images for City Surveillance in an Edge-Computing Environment. Sensors, 23(14), 6373. https://doi.org/10.3390/s23146373
3. Bessonov, A., Rozanov, A., White, R., Suwito, G., Medina-Salazar, I., Lutfullin, M., Gusev, D., & Shikov, I. (2025). All-Weather Drone Vision: Passive SWIR Imaging in Fog and Rain. Drones, 9(8), 553. https://doi.org/10.3390/drones9080553
4. Song, H., Yeo, S., Jin, Y., Park, I., Ju, H., Nalcakan, Y., & Kim, S. (2024). Short-Wave Infrared (SWIR) Imaging for Robust Material Classification: Overcoming Limitations of Visible Spectrum Data. Applied Sciences, 14(23), 11049. https://doi.org/10.3390/app142311049
5. Zhu, B., & Jonathan, H. (2024). A Review of Image Sensors Used in Near-Infrared and Shortwave Infrared Fluorescence Imaging. Sensors, 24(11), 3539. https://doi.org/10.3390/s24113539
6. Dong, S., Xiong, Z., Li, R., Chen, Y., & Wang, H. (2022). High-Performance Enhancement of SWIR Images. Electronics, 11(13), 2001. https://doi.org/10.3390/electronics11132001
7. Jin, Youngwan & Kovac, Michal & Nalçakan, Yağız & Ju, Hyeongjin & Song, Hanbin & Yeo, Sanghyeop & Kim, Shiho. (2025). RASMD: RGB And SWIR Multispectral Driving Dataset for Robust Perception in Adverse Conditions. 10.48550/arXiv.2504.07603.
8. Bustos, Nicolas & Mashhadi, Mehrsa & Lai-Yuen, Susana & Sarkar, Sudeep & Das, Tapas. (2023). A systematic literature review on object detection using near infrared and thermal images. Neurocomputing. 560. 126804. 10.1016/j.neucom.2023.126804.
9. Su, G., Wang, Y., & He, D. (2026). Real-Time Non-Uniformity Correction Method for 800 FPS High-Frame-Rate Short-Wave Infrared Images. Sensors, 26(7), 2209. https://doi.org/10.3390/s26072209
10. Zhao, C., Wang, J., Su, N., Yan, Y., & Xing, X. (2022). Low Contrast Infrared Target Detection Method Based on Residual Thermal Backbone Network and Weighting Loss Function. Remote Sensing, 14(1), 177. https://doi.org/10.3390/rs14010177
11. Liu, J., Zhou, X., Wan, Z., Yang, X., He, W., He, R., & Lin, Y. (2023). Multi-Scale FPGA-Based Infrared Image Enhancement by Using RGF and CLAHE. Sensors, 23(19), 8101. https://doi.org/10.3390/s23198101
12. Marnissi, Mohamed & Fradi, Hajer & Sahbani, Anis & ESSOUKRI BEN AMARA, Najoua. (2021). Unsupervised thermal-to-visible domain adaptation method for pedestrian detection. Pattern Recognition Letters. 153. 10.1016/j.patrec.2021.11.024.
13. Hu, Bin-Lin & Shijing, Hao & Sun, De-Xin & Liu, Yinnian. (2017). A novel scene-based non-uniformity correction method for SWIR push-broom hyperspectral sensors. ISPRS Journal of Photogrammetry and Remote Sensing. 131. 160-169. 10.1016/j.isprsjprs.2017.08.004.
14. Li, Yong & Miao, Naipeng & Ma, Liangdi & Shuang, Feng & Huang, Xingwen. (2023). Transformer for object detection: Review and benchmark. Engineering Applications of Artificial Intelligence. 126. 107021. 10.1016/j.engappai.2023.107021.
15. Li, J., Zhang, J., Shao, Y., & Liu, F. (2024). SRE-YOLOv8: An Improved UAV Object Detection Model Utilizing Swin Transformer and RE-FPN. Sensors, 24(12), 3918. https://doi.org/10.3390/s24123918
16. Yeo, Sanghyeop & Nalçakan, Yağız & Jin, Youngwan & Park, Incheol & Ju, Hyeongjin & Kim, Shiho. (2025). Seeing through the rain: An empirical assessment of short-wave infrared imaging on enhancing autonomous vehicle perception under rainy weather. Measurement. 259. 119654. 10.1016/j.measurement.2025.119654.
17. Cimarelli, C., Millan-Romera, J. A., Voos, H., & Sanchez-Lopez, J. L. (2025). Hardware, Algorithms, and Applications of the Neuromorphic Vision Sensor: A Review. Sensors, 25(19), 6208. https://doi.org/10.3390/s25196208
18. Dong, M., Shen, H., Jia, P., Sun, Y., Liang, C., Zhang, F., & Hou, J. (2023). Calibration Method for Airborne Infrared Optical Systems in a Non-Thermal Equilibrium State. Sensors, 23(14), 6326. https://doi.org/10.3390/s23146326
19. Park, Min-Jun & Lee, Dong-Yeon & Lee, Sang-Jun & Kim, Hyeon-June. (2025). A Dual-Exzposure Readout Integrated Circuit for Dynamic Range Enhancement in SWIR Image Sensors. IEEE Sensors Journal. PP. 1-1. 10.1109/JSEN.2025.3587528.
