Võ Trung Hiếu * , Võ Duy Nguyên Nguyễn Tấn Trần Minh Khang

* Tác giả liên hệ (trunghieuvo00@gmail.com)

Abstract

Anomaly detection is a problem that has received much attention in recent years with many high-precision methods born. Future Frame Prediction is a novel approach to video anomaly detection. This method has the main idea of ​​using videos containing only normal frames to train the model. In the test phase, the model can take as input a video containing an anomaly frame, the anomaly detection is based on the difference between the frame reconstructed from the normal data and the actual frame containing any abnormality, usually in test video. In this paper, the model was improved by changing the optical-flow estimator in the Future Frame Prediction model and modify the error function of this model based on the FenceGAN work to increase the anomaly detection performance. The results after fine-tuning showed that the model improves on average 0.5% accuracy on standard datasets such as UCSD Ped1, UCSD Ped2, Avenue.

Keywords: Anomaly detection, Frame prediction, Optical-flow, GAN error function, Video anomaly prediction

Tóm tắt

Phát hiện bất thường là một bài toán được quan tâm nhiều trong những năm gần đây với nhiều phương pháp ra đời có độ chính xác cao. Future Frame Prediction là phương pháp tiếp cận mới lạ đối với bài toán phát hiện bất thường trong video. Phương pháp này có ý tưởng chính là sử dụng các video chỉ chứa khung hình bình thường để huấn luyện mô hình. Giai đoạn kiểm tra, mô hình có thể nhận đầu vào là video có chứa khung hình bất thường, việc phát hiện bất thường dựa trên sự khác biệt giữa khung hình được tái tạo từ dữ liệu bình thường và khung hình thực tế có chứa bất thường trong video kiểm tra. Trong bài báo này, mô hình được cải thiện bằng cách thay đổi thành phần ước lượng optical-flow trong mô hình Future Frame Prediction và sửa đổi hàm lỗi dựa trên công trình FenceGAN nhằm tăng hiệu suất phát hiện bất thường. Kết quả sau khi tinh chỉnh, mô hình cải thiện độ chính xác trung bình 0,5% trên các bộ dữ liệu chuẩn như UCSD Ped1, UCSD Ped2, Avenue.

Từ khóa: Phát hiện bất thường, Dự đoán khung hình, Luồng quang học, Hàm lỗi GAN, Dự đoán bất thường trên video

Article Details

Tài liệu tham khảo

Chandola, V., Banerjee, A., & Kumar, V. (2009). Anomaly detection: A survey. ACM computing surveys (CSUR), 41(3), 1-58. https://doi.org/10.1145/1541880.1541882

Mahadevan, V., Li, W., Bhalodia, V., & Vasconcelos, N. (2010, June). Anomaly detection in crowded scenes. In 2010 IEEE computer society conference on computer vision and pattern recognition (pp. 1975-1981). https://doi.org/10.1109/CVPR.2010.5539872

Geiger, A., Lenz, P., Stiller, C., & Urtasun, R. (2013). Vision meets robotics: The kitti dataset. The International Journal of Robotics Research, 32(11), 1231-1237. https://doi.org/10.1177/0278364913491297

Lu, C., Shi, J., & Jia, J. (2013). Abnormal event detection at 150 fps in matlab. In Proceedings of the IEEE international conference on computer vision (pp. 2720-2727). https://doi.org/10.1109/ICCV.2013.338

Mathieu, M., Couprie, C., & LeCun, Y. (2015). Deep multi-scale video prediction beyond mean square error. arXiv preprint arXiv:1511.05440.

Ilg, E., Mayer, N., Saikia, T., Keuper, M., Dosovitskiy, A., & Brox, T. (2017). Flownet 2.0: Evolution of optical flow estimation with deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2462-2470). https://doi.org/10.1109/CVPR.2017.179

Creswell, A., White, T., Dumoulin, V., Arulkumaran, K., Sengupta, B., & Bharath, A. A. (2018). Generative adversarial networks: An overview. IEEE Signal Processing Magazine, 35(1), 53-65. https://doi.org/10.1109/MSP.2017.2765202

Liu, W., Luo, W., Lian, D., & Gao, S. (2018). Future frame prediction for anomaly detection–a new baseline. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 6536-6545). https://doi.org/10.1109/CVPR.2018.00684

Narkhede, S. (2018). Understanding auc-roc curve.. Towards Data Science, 26(1), 220-227.

Chalapathy, R., & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407. https://doi.org/10.1145/3394486.3406704

Ngo, P. C., Winarto, A. A., Kou, C. K. L., Park, S., Akram, F., & Lee, H. K. (2019, November). Fence GAN: Towards better anomaly detection. In 2019 IEEE 31St International Conference on tools with artificial intelligence (ICTAI) (pp. 141-148). IEEE. https://doi.org/10.1109/ICTAI.2019.00028

Ramachandra, B., Jones, M., & Vatsavai, R. R. (2020). A survey of single-scene video anomaly detection. IEEE transactions on pattern analysis and machine intelligence. https://doi.org/10.1109/TPAMI.2020.3040591

Teed, Z., & Deng, J. (2020, August). Raft: Recurrent all-pairs field transforms for optical flow. In European conference on computer vision (pp. 402-419). Springer, Cham. https://doi.org/10.1007/978-3-030-58536-5_24

Zhu, S., Chen, C., & Sultani, W. (2020). Video anomaly detection for smart surveillance. In Computer Vision: A Reference Guide (pp. 1-8). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-03243-2_845-1

Vo, D. T., Tran, T. M., Vo, N. D., & Nguyen, K. (2021, December). UIT-Anomaly: A Modern Vietnamese Video Dataset for Anomaly Detection. In 2021 8th NAFOSTED Conference on Information and Computer Science (NICS) (pp. 352-357). IEEE. https://doi.org/10.1109/NICS54270.2021.9701556