ОБЪЕКТІЛЕРДІ ТАНУҒА АРНАЛҒАН НЕЙРОНДЫҚ ЖЕЛІНІ ОҚЫТУ ҮШІН SWIR-КАМЕРАЛАРДАН ДЕРЕКТЕРДІ ЖИНАУ ЖӘНЕ АЛДЫН АЛА ӨҢДЕУ
DOI:
https://doi.org/10.56132/2791-3368-2026-2-66-52-64Кілт сөздер:
SWIR-камера, қысқа толқынды инфрақызыл диапазон, кескіндерді алдын ала өңдеу, біртексіздікті түзету, CLAHE, YOLOv8, объектілерді тану, компьютерлік көру, InGaAs, ауа райына тәуелсіз мониторингАңдатпа
Мақалада көріну шектеулі жағдайларда объектілерді тануға арналған нейрондық желіні оқыту үшін SWIR-камералардан алынатын деректерді жинау және алдын ала өңдеу мәселесі қарастырылады. Зерттеудің өзектілігі қысқа толқынды инфрақызыл диапазондағы кескіндердің тұман, түтін және төмен жарық жағдайларында жоғары ақпараттылығымен түсіндіріледі, алайда мұндай деректер InGaAs-матрицаларына тән шуылдармен, ақаулы пиксельдермен және төмен контрастпен сипатталады. Жұмыста жаяу жүргіншілер мен көлік құралдарының әртүрлі көше жағдайларында түсірілген кескіндерін қамтитын мамандандырылған деректер жинағы қалыптастырылды. Біртексіздікті түзету (NUC) мен гистограмманы адаптивті тегістеу (CLAHE) әдістерін қамтитын екі кезеңді алдын ала өңдеу алгоритмі ұсынылды. Әдістің тиімділігін бағалау үшін YOLOv8 архитектурасы қолданылды. Эксперимент нәтижелері ұсынылған тәсілдің PSNR көрсеткішін 18,4%-ға, SSIM мәнін 12,6%-ға арттыруға, сондай-ақ mAP@0.5 метрикасы бойынша көлік құралдарын тану дәлдігін 0,87-ге және жаяу жүргіншілерді тану дәлдігін 0,79-ға дейін көтеруге мүмкіндік беретінін көрсетті. Әзірленген пайплайнның нақты уақыт режимінде жұмыс істейтін ауа райына тәуелсіз мониторинг және ұшқышсыз көлік жүйелерінде қолдануға жарамды екені дәлелденді.
##plugins.themes.default.displayStats.downloads##
Әдебиеттер тізімі
1. Pavlović, M. S., Milanović, P. D., Stanković, M. S., Perić, D. B., Popadić, I. V., & Perić, M. V. (2022). Deep Learning Based SWIR Object Detection in Long-Range Surveillance Systems: An Automated Cross-Spectral Approach. Sensors, 22(7), 2562. https://doi.org/10.3390/s22072562
2. Park, J., Hong, J., Shim, W., & Jung, D.-J. (2023). Multi-Object Tracking on SWIR Images for City Surveillance in an Edge-Computing Environment. Sensors, 23(14), 6373. https://doi.org/10.3390/s23146373
3. Bessonov, A., Rozanov, A., White, R., Suwito, G., Medina-Salazar, I., Lutfullin, M., Gusev, D., & Shikov, I. (2025). All-Weather Drone Vision: Passive SWIR Imaging in Fog and Rain. Drones, 9(8), 553. https://doi.org/10.3390/drones9080553
4. Song, H., Yeo, S., Jin, Y., Park, I., Ju, H., Nalcakan, Y., & Kim, S. (2024). Short-Wave Infrared (SWIR) Imaging for Robust Material Classification: Overcoming Limitations of Visible Spectrum Data. Applied Sciences, 14(23), 11049. https://doi.org/10.3390/app142311049
5. Zhu, B., & Jonathan, H. (2024). A Review of Image Sensors Used in Near-Infrared and Shortwave Infrared Fluorescence Imaging. Sensors, 24(11), 3539. https://doi.org/10.3390/s24113539
6. Dong, S., Xiong, Z., Li, R., Chen, Y., & Wang, H. (2022). High-Performance Enhancement of SWIR Images. Electronics, 11(13), 2001. https://doi.org/10.3390/electronics11132001
7. Jin, Youngwan & Kovac, Michal & Nalçakan, Yağız & Ju, Hyeongjin & Song, Hanbin & Yeo, Sanghyeop & Kim, Shiho. (2025). RASMD: RGB And SWIR Multispectral Driving Dataset for Robust Perception in Adverse Conditions. 10.48550/arXiv.2504.07603.
8. Bustos, Nicolas & Mashhadi, Mehrsa & Lai-Yuen, Susana & Sarkar, Sudeep & Das, Tapas. (2023). A systematic literature review on object detection using near infrared and thermal images. Neurocomputing. 560. 126804. 10.1016/j.neucom.2023.126804.
9. Su, G., Wang, Y., & He, D. (2026). Real-Time Non-Uniformity Correction Method for 800 FPS High-Frame-Rate Short-Wave Infrared Images. Sensors, 26(7), 2209. https://doi.org/10.3390/s26072209
10. Zhao, C., Wang, J., Su, N., Yan, Y., & Xing, X. (2022). Low Contrast Infrared Target Detection Method Based on Residual Thermal Backbone Network and Weighting Loss Function. Remote Sensing, 14(1), 177. https://doi.org/10.3390/rs14010177
11. Liu, J., Zhou, X., Wan, Z., Yang, X., He, W., He, R., & Lin, Y. (2023). Multi-Scale FPGA-Based Infrared Image Enhancement by Using RGF and CLAHE. Sensors, 23(19), 8101. https://doi.org/10.3390/s23198101
12. Marnissi, Mohamed & Fradi, Hajer & Sahbani, Anis & ESSOUKRI BEN AMARA, Najoua. (2021). Unsupervised thermal-to-visible domain adaptation method for pedestrian detection. Pattern Recognition Letters. 153. 10.1016/j.patrec.2021.11.024.
13. Hu, Bin-Lin & Shijing, Hao & Sun, De-Xin & Liu, Yinnian. (2017). A novel scene-based non-uniformity correction method for SWIR push-broom hyperspectral sensors. ISPRS Journal of Photogrammetry and Remote Sensing. 131. 160-169. 10.1016/j.isprsjprs.2017.08.004.
14. Li, Yong & Miao, Naipeng & Ma, Liangdi & Shuang, Feng & Huang, Xingwen. (2023). Transformer for object detection: Review and benchmark. Engineering Applications of Artificial Intelligence. 126. 107021. 10.1016/j.engappai.2023.107021.
15. Li, J., Zhang, J., Shao, Y., & Liu, F. (2024). SRE-YOLOv8: An Improved UAV Object Detection Model Utilizing Swin Transformer and RE-FPN. Sensors, 24(12), 3918. https://doi.org/10.3390/s24123918
16. Yeo, Sanghyeop & Nalçakan, Yağız & Jin, Youngwan & Park, Incheol & Ju, Hyeongjin & Kim, Shiho. (2025). Seeing through the rain: An empirical assessment of short-wave infrared imaging on enhancing autonomous vehicle perception under rainy weather. Measurement. 259. 119654. 10.1016/j.measurement.2025.119654.
17. Cimarelli, C., Millan-Romera, J. A., Voos, H., & Sanchez-Lopez, J. L. (2025). Hardware, Algorithms, and Applications of the Neuromorphic Vision Sensor: A Review. Sensors, 25(19), 6208. https://doi.org/10.3390/s25196208
18. Dong, M., Shen, H., Jia, P., Sun, Y., Liang, C., Zhang, F., & Hou, J. (2023). Calibration Method for Airborne Infrared Optical Systems in a Non-Thermal Equilibrium State. Sensors, 23(14), 6326. https://doi.org/10.3390/s23146326
19. Park, Min-Jun & Lee, Dong-Yeon & Lee, Sang-Jun & Kim, Hyeon-June. (2025). A Dual-Exzposure Readout Integrated Circuit for Dynamic Range Enhancement in SWIR Image Sensors. IEEE Sensors Journal. PP. 1-1. 10.1109/JSEN.2025.3587528.
