Phát hiện bất thường: dự đoán khung hình tương lai kết hợp sota optical-flow model và cải tiến hàm lỗi dựa trên FenceGan
Abstract
Anomaly detection is a problem that has received much attention in recent years with many high-precision methods born. Future Frame Prediction is a novel approach to video anomaly detection. This method has the main idea of using videos containing only normal frames to train the model. In the test phase, the model can take as input a video containing an anomaly frame, the anomaly detection is based on the difference between the frame reconstructed from the normal data and the actual frame containing any abnormality, usually in test video. In this paper, the model was improved by changing the optical-flow estimator in the Future Frame Prediction model and modify the error function of this model based on the FenceGAN work to increase the anomaly detection performance. The results after fine-tuning showed that the model improves on average 0.5% accuracy on standard datasets such as UCSD Ped1, UCSD Ped2, Avenue.
Tóm tắt
Phát hiện bất thường là một bài toán được quan tâm nhiều trong những năm gần đây với nhiều phương pháp ra đời có độ chính xác cao. Future Frame Prediction là phương pháp tiếp cận mới lạ đối với bài toán phát hiện bất thường trong video. Phương pháp này có ý tưởng chính là sử dụng các video chỉ chứa khung hình bình thường để huấn luyện mô hình. Giai đoạn kiểm tra, mô hình có thể nhận đầu vào là video có chứa khung hình bất thường, việc phát hiện bất thường dựa trên sự khác biệt giữa khung hình được tái tạo từ dữ liệu bình thường và khung hình thực tế có chứa bất thường trong video kiểm tra. Trong bài báo này, mô hình được cải thiện bằng cách thay đổi thành phần ước lượng optical-flow trong mô hình Future Frame Prediction và sửa đổi hàm lỗi dựa trên công trình FenceGAN nhằm tăng hiệu suất phát hiện bất thường. Kết quả sau khi tinh chỉnh, mô hình cải thiện độ chính xác trung bình 0,5% trên các bộ dữ liệu chuẩn như UCSD Ped1, UCSD Ped2, Avenue.
Article Details
Tài liệu tham khảo
Chandola, V., Banerjee, A., & Kumar, V. (2009). Anomaly detection: A survey. ACM computing surveys (CSUR), 41(3), 1-58. https://doi.org/10.1145/1541880.1541882
Mahadevan, V., Li, W., Bhalodia, V., & Vasconcelos, N. (2010, June). Anomaly detection in crowded scenes. In 2010 IEEE computer society conference on computer vision and pattern recognition (pp. 1975-1981). https://doi.org/10.1109/CVPR.2010.5539872
Geiger, A., Lenz, P., Stiller, C., & Urtasun, R. (2013). Vision meets robotics: The kitti dataset. The International Journal of Robotics Research, 32(11), 1231-1237. https://doi.org/10.1177/0278364913491297
Lu, C., Shi, J., & Jia, J. (2013). Abnormal event detection at 150 fps in matlab. In Proceedings of the IEEE international conference on computer vision (pp. 2720-2727). https://doi.org/10.1109/ICCV.2013.338
Mathieu, M., Couprie, C., & LeCun, Y. (2015). Deep multi-scale video prediction beyond mean square error. arXiv preprint arXiv:1511.05440.
Ilg, E., Mayer, N., Saikia, T., Keuper, M., Dosovitskiy, A., & Brox, T. (2017). Flownet 2.0: Evolution of optical flow estimation with deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2462-2470). https://doi.org/10.1109/CVPR.2017.179
Creswell, A., White, T., Dumoulin, V., Arulkumaran, K., Sengupta, B., & Bharath, A. A. (2018). Generative adversarial networks: An overview. IEEE Signal Processing Magazine, 35(1), 53-65. https://doi.org/10.1109/MSP.2017.2765202
Liu, W., Luo, W., Lian, D., & Gao, S. (2018). Future frame prediction for anomaly detection–a new baseline. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 6536-6545). https://doi.org/10.1109/CVPR.2018.00684
Narkhede, S. (2018). Understanding auc-roc curve.. Towards Data Science, 26(1), 220-227.
Chalapathy, R., & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407. https://doi.org/10.1145/3394486.3406704
Ngo, P. C., Winarto, A. A., Kou, C. K. L., Park, S., Akram, F., & Lee, H. K. (2019, November). Fence GAN: Towards better anomaly detection. In 2019 IEEE 31St International Conference on tools with artificial intelligence (ICTAI) (pp. 141-148). IEEE. https://doi.org/10.1109/ICTAI.2019.00028
Ramachandra, B., Jones, M., & Vatsavai, R. R. (2020). A survey of single-scene video anomaly detection. IEEE transactions on pattern analysis and machine intelligence. https://doi.org/10.1109/TPAMI.2020.3040591
Teed, Z., & Deng, J. (2020, August). Raft: Recurrent all-pairs field transforms for optical flow. In European conference on computer vision (pp. 402-419). Springer, Cham. https://doi.org/10.1007/978-3-030-58536-5_24
Zhu, S., Chen, C., & Sultani, W. (2020). Video anomaly detection for smart surveillance. In Computer Vision: A Reference Guide (pp. 1-8). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-03243-2_845-1
Vo, D. T., Tran, T. M., Vo, N. D., & Nguyen, K. (2021, December). UIT-Anomaly: A Modern Vietnamese Video Dataset for Anomaly Detection. In 2021 8th NAFOSTED Conference on Information and Computer Science (NICS) (pp. 352-357). IEEE. https://doi.org/10.1109/NICS54270.2021.9701556