MDMFUSION: MÔ HÌNH TỔNG HỢP HÌNH ẢNH MRI VÀ CT DỰA TRÊN PHÂN RÃ ĐA MỨC VÀ DATFUSE
Nội dung chính của bài viết
Tóm tắt
Tổng hợp ảnh y học nhằm kết hợp thông tin bổ sung từ các phương thức chụp khác nhau vào một ảnh duy nhất để phục vụ chẩn đoán. Bài báo đề xuất MDMFusion, một mô hình tổng hợp ảnh MRI-CT dựa trên phân rã đa mức MIDTE (Multi-level Image Decomposition with THF and EGIF) kết hợp hai bộ lọc bảo toàn biên là THF (Truncated Huber Filtering) và EGIF (Effective Guided Image Filtering). Thành phần cơ sở được tổng hợp bằng mô hình học sâu DATFuse, còn các thành phần chi tiết được tổng hợp bằng mạng nơ-ron xung cải tiến mPCNN.
Thực nghiệm trên bộ dữ liệu MRI–CT với bốn chỉ số , , và , so sánh với chín phương pháp tiên tiến được công bố trong giai đoạn 2020–2025, cho thấy MDMFusion đạt và cao nhất (lần lượt là 0,27243 và 6,48848), đồng thời đạt kết quả cạnh tranh ở (2,54383) và (0,48593).
Kết quả cho thấy việc kết hợp phân rã đa mức bảo toàn biên với DATFuse cho thành phần cơ sở và mPCNN cho thành phần chi tiết giúp cải thiện độ sáng và lượng thông tin của ảnh tổng hợp; khả năng bảo toàn thông tin biên () vẫn còn thấp hơn một số phương pháp khác và là hướng cần cải thiện
Từ khóa
Tổng hợp ảnh y học, DATFuse, iPCNN, THF, EGIF
Chi tiết bài viết
Tài liệu tham khảo
[2] C. Panigrahy, A. Seal, and N. K. Mahato, “Parameter adaptive unit-linking dual-channel PCNN based infrared and visible image fusion,” Neurocomputing, vol. 514, pp.21-38, 2022, DOI: 10.1016/J.NEUCOM.2022.09.157.
[3] C. Panigrahy, A. Seal, C. Gonzalo-Martín, P. Pathak, and A. S. Jalal, “Parameter adaptive unit-linking pulse coupled neural network based MRI–PET/SPECT image fusion,” Biomed. Signal Process. Control, vol. 83, pp.104659, 2023, DOI: 10.1016/J.BSPC.2023.104659.
[4] B. Rajalingam, F. Al-Turjman, R. Santhoshkumar, and M. Rajesh, “Intelligent multimodal medical image fusion with deep guided filtering,” Multimed. Syst., 28(4):14491463, 2022, DOI: 10.1007/S00530-020-00706-0/METRICS.
[5] S. Maqsood and U. Javed, “Multi-modal Medical Image Fusion based on Two-scale Image Decomposition and Sparse Representation,” Biomed. Signal Process. Control, vol. 57, pp.101810, 2020, DOI: 10.1016/J.BSPC.2019.101810.
[6] P. Vajpayee, C. Panigrahy, and A. Kumar, “Medical image fusion by adaptive Gaussian PCNN and improved Roberts operator,” Signal Image Video Process., 17(7): 3565-3573, 2023, DOI: 10.1007/S11760-023-02581-4/METRICS.
[7] W. Liu, P. Zhang, Y. Lei, X. Huang, J. Yang, and M. Ng, “A Generalized Framework for Edge-Preserving and Structure-Preserving Image Smoothing,” IEEE Trans. Pattern Anal. Mach. Intell., 44(10):6631-6648, 2022, DOI: 10.1109/TPAMI.2021.3097891.
[8] Z. Lu, B. Long, K. Li, and F. Lu, “Effective Guided Image Filtering for Contrast Enhancement,” IEEE Signal Process. Lett., 25(10):1585-1589, 2018, DOI: 10.1109/LSP.2018.2867896.
[9] W. Tang, F. He, Y. Liu, Y. Duan, and T. Si, “DATFuse: Infrared and Visible Image Fusion via Dual Attention Transformer,” IEEE Transactions on Circuits and Systems for Video Technology, 33(7):3159-3172, 2023, DOI: 10.1109/TCSVT.2023.3234340.
[10] W. Tan, W. Thitøn, P. Xiang, and H. Zhou, “Multi-modal brain image fusion based on multi-level edge-preserving filtering,” Biomed. Signal Process. Control, vol. 64, pp. 102280, 2021, DOI: 10.1016/J.BSPC.2020.102280.
[11] W. Tan, P. Tiwari, H. M. Pandey, C. Moreira, and A. K. Jaiswal, “Multimodal medical image fusion algorithm in the era of big data,” Neural Comput. Appl., pp. 1-21, 2020, DOI: 10.1007/S00521-020-05173-2/FIGURES/18.
[12] G. Qu, D. Zhang, and P. Yan, “Information measure for performance of image fusion,” Electron. Lett., 38(7):313315, 2002, DOI: 10.1049/EL:20020212.
[13] C. S. Xydeas and V. Petrović, “Objective image fusion performance measure,” Electron. Lett., 36(4):308-309, 2000, DOI: 10.1049/EL:20000267.
[14] B. Li et al., “Medical Image Fusion Method Based on Coupled Neural P Systems in Nonsubsampled Shearlet Transform Domain,”, 31(1), 2020, DOI: 10.1142/S0129065720500501.
[15] A. Sinha et al., “Multi-modal medical image fusion using improved dual-channel PCNN,” Med. Biol. Eng. Comput., 62(9):2629-2651, 2024, DOI: 10.1007/S11517-024-03089-W/METRICS.
[16] N. Goyal et al., “Dual-channel Rybak neural network based medical image fusion,” Opt. Laser Technol., vol. 181, 2025, DOI: 10.1016/j.optlastec.2024.112018.
[17] W. Tang and F. He, “FATFusion: A functional-anatomical transformer for medical image fusion,” Inf. Process. Manag., 61(4), 2024, DOI: 10.1016/j.ipm.2024.103687.
[18] Y. Jie, X. Li, H. Tan, F. Zhou, and G. Wang, “Multi-modal medical image fusion via multi-dictionary and truncated Huber filtering,” Biomed. Signal Process. Control, vol. 88, pp. 105671, 2024, DOI: 10.1016/J.BSPC.2023.105671.
[19] X. Xie et al., “MACTFusion: Lightweight Cross Transformer for Adaptive Multimodal Medical Image Fusion,” IEEE J. Biomed. Health Inform., 29(5): 3317-3328, 2025, DOI: 10.1109/JBHI.2024.3391620.