Lê Minh Lợi , Trần Nguyễn Minh Thư * , Nguyễn Thiện Hùng , Hồ Quốc An Phạm Nguyên Khang

* Tác giả liên hệ (tnmthu@ctu.edu.vn)

Abstract

Timely detection of tumors to support doctors in effectively diagnosing and treating patients in overloaded hospitals is essential. The Slicer application allows the rendering of 2D images of damaged areas into 3D volume data, helping doctors obtain a more intuitive view of diagnosis and treatment. However, the Slicer application does not yet allow automatic detection of abnormal regions and requires a powerful computer to execute these models. In this research, Slicer's Billow AISA extension is proposed to build an analysis and prediction service portal from image data provided by users. The analysis and prediction function experimented in this research is the detection of abnormal areas on brain MRI images using the Swin-Unet model. Experimental results on the dataset collected from Can Tho University of Medicine and Pharmacy Hospital demonstrate the feasibility and effectiveness of the Billow AISA model.

Keywords: 3D rendering, Detecting abnormalities, Swin-Unet

Tóm tắt

Việc phát hiện kịp thời khối u hỗ trợ các bác sĩ trong quá trình chẩn đoán và điều trị cho bệnh nhân được thực hiện hiệu quả trong tình trạng các bệnh viện luôn quá tải là rất cần thiết. Ứng dụng Slicer cho phép dựng hình ảnh 2D vùng tổn thương thành dữ liệu khối 3D giúp các bác sĩ có cái nhìn trực quan hơn trong việc chẩn đoán và điều trị. Tuy nhiên, ứng dụng Slicer chưa cho phép phát hiện tự động vùng bất thường và yêu cầu máy tính đủ mạnh để thực thi các mô hình này. Trong nghiên cứu này, tiện ích mở rộng Billow AISA cho Slicer được đề xuất nhằm xây dựng một cổng dịch vụ phân tích, dự đoán từ dữ liệu ảnh do người dùng cung cấp. Chức năng phân tích, dự đoán được thử nghiệm trong nghiên cứu này là phát hiện vùng bất thường trên ảnh MRI não với mô hình Swin-Unet. Kết quả thực nghiệm trên tập dữ liệu thu thập từ Bệnh viện Trường Đại học Y Dược Cần Thơ cho thấy tính khả thi và hiệu quả của mô hình Billow AISA.

Từ khóa: Hiển thị hình ảnh ba chiều, Phát hiện vùng bất thường, Swin-Unet

Article Details

Tài liệu tham khảo

Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., & Zagoruyko, S. (2020). End-to-End Object Detection with Transformers. In: Vedaldi, A., Bischof, H., Brox, T., Frahm, JM. (eds) Computer Vision – ECCV 2020. ECCV 2020. Lecture Notes in Computer Science (12346). Springer, Cham. https://doi.org/10.1007/978-3-030-58452-8_13

Cao, H., Wang, Y., Chen, J., Jiang, D., Zhang, X., Tian, Q., & Wang, M. (2023). Swin-Unet: Unet-Like Pure Transformer for Medical Image Segmentation. In: Karlinsky, L., Michaeli, T., Nishino, K. (eds) Computer Vision – ECCV 2022 Workshops. ECCV 2022. Lecture Notes in Computer Science (13803). Springer, Cham. https://doi.org/10.1007/978-3-031-25066-8_9

Chris, C., Danfei, X., Young, Y. G., Kevin, C., & Silvio, S. (2016). 3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction. European Conference on Computer Vision (pp. 628-644). 10.1007/978-3-319-46484-8_38.

Çiçek, Ö., Abdulkadir, A., Lienkamp, S., Brox, T., & Ronneberger, O. (2016). 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. In: Ourselin, S., Joskowicz, L., Sabuncu, M., Unal, G., Wells, W. (eds) Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016. MICCAI 2016. Lecture Notes in Computer Science (pp. 424–432). Springer, Cham. https://doi.org/10.1007/978-3-319-46723-8_49

Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. in International Conference on Learning Representations.

Hatamizadeh, A., Nath, V., Tang, Y., Yang, D., Roth, H. R., & Xu, D. (2022). Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images. In: Crimi, A., Bakas, S. (eds) Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. BrainLes 2021. Lecture Notes in Computer Science (12962). Springer, Cham. https://doi.org/10.1007/978-3-031-08999-2_22

Held, K., Kops, E., Krause, B., Wells, W., Kikinis, R., & Muller-Gartner, H. W. (1997). Markov random field segmentation of brain MRI images. IEEE Transactions on Medical Imaging (pp. 878–886). https://doi.org/10.1109/42.650883

Ken, M., Will, S., Bill, L. (2015). The Visualization Toolkit. https://github.com/Kitware/VTK?tab=readme-ov-file

Li, X., Chen, H., Qi, X., Dou, Q., Fu, C. W., & Heng, P. A. (2018). H-denseunet: Hybriddensely connected unet for liver and tumor segmentation from ct volumes. IEEE Transactions on Medical Imaging (pp. 2663–2674). https://doi.org/10.1109/TMI.2018.2845918

Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., & Guo, B. (2021). Swintransformer: Hierarchical vision transformer using shifted windows. IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, QC, Canada (pp. 9992-10002).
doi: 10.1109/ICCV48922.2021.00986

Lợi, L. M., Thư, T. N. M., Nguyễn, H. T., & Khang, P. N. (2020). Ứng dụng mô hình U-net phát hiện vùng bất thường trên ảnh MRI Não”. Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR), Nha Trang (trang 656-662). http://dx.doi.org/10.15625/vap.2020.00225

Lợi, L. M., Thư, T. N. M., An, H. Q., & Khang, P. N. (2024). Phát hiện vùng bất thường trên ảnh MRI não với mô hình Swin-Unet. Tạp chí Khoa học Đại học Thái Nguyên, 229(7). (trang 111-120). https://doi.org/10.34238/tnu-jst.10053

Nhường, Q. T. B., Ninh, T. V., Thịnh, Đ. P., & Thường, P. M. (2021). Tái tạo mô hình 3D của đối tượng từ ảnh phác thảo 2.5D. Hội nghị KHCN Quốc gia lần thứ XV về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR). (trang 69-74).

Ronneberger, O., Fischer, P., & Brox, T. (2015). U-net: Convolutional networks forbiomedical image segmentation. In Medical Image Computing and ComputerAssisted Intervention (MICCAI), ser. LNCS (pp. 234– 241). Springer. https://doi.org/10.1007/978-3-319-24574-4_28

Thư, T. N. M., Liêm, B. T., Lợi, L. M., Nghĩa, P. T., & Khang, P. N. (2022). Ứng dụng mạng Gan có điều kiện phát hiện vùng bất thường trên ảnh MRI não. Hội nghị KHCN Quốc gia lần thứ XV về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR), Học viện Kỹ thuật Mật mã, Hà Nội, 2022. (trang 462-469). https://doi.org/10.15625/vap.2022.0256

Tsai, A. Y., Wells, W., Tempany, C., Tucker, A. F., Grimson, & Willsky, W. A. (2003). A shape-based approach to the segmentation of medical imagery using level sets. IEEE Transactions on Medical Imaging, 22(2). (pp. 137–154). https://doi.org/10.1109/TMI.2002.808355

Weidert, S., Andress, S., Linhart, C., Suero, E. M., Greiner, A., Böcker, W., Kammerlander, C., & Becker, C.A. (2020). 3D printing method for next-day acetabular fracture surgery using a surface filtering pipeline: feasibility and 1-year clinical results. International Journal of Computer Assisted Radiology and Surgery, 15, 565–575.
https://doi.org/10.1007/s11548-019-02110-0

Xiao, X., Lian, S., Luo, Z., & Li, S. (2018). Weighted res-unet for high-quality retina vesselsegmentation. 9th International Conference on Information Technology in Medicine and Education (ITME) (pp. 327–331). https://doi.org/10.1109/ITME.2018.00080

Zhou Z., Siddiquee M. R., Tajbakhsh N., & Liang, J. (2018). Unet++: A nestedu-net architecture for medical image segmentation (pp. 3–11). Springer Verlag.
https://doi.org/10.1007/978-3-030-00889-5_1