Evaluating ChatGPT’s ability to solve N3-Level Japanese reading comprehension tasks using JLPT test preparation materials
,
,
and
Article Sidebar
Full Text: 
PDF
Abstract
This study evaluates ChatGPT’s ability to handle Japanese N3 reading comprehension through a dataset of nine JLPT practice materials, each repeated three times to ensure objectivity. A mixed-method approach combining quantitative and qualitative analysis was employed. Quantitatively, ChatGPT achieved an accuracy rate of over 60% across all materials, with three exceeding 80% and the highest reaching 89.9%. Statistical testing indicated no significant differences across the three runs, reflecting the model’s stability and reliability. Qualitatively, 71.8% of ChatGPT’s responses were rated as “fully correct” in terms of accurately conveying the key explanations from the book, 27.3% were rated as “partially correct”, and only 0.9% were deemed “incorrect” when compared to the explanations provided in the book. Errors mainly stemmed from misinterpretation or omission of information, highlighting ChatGPT’s limitations in processing long and complex texts. The findings provide empirical evidence of the potential application of artificial intelligence in Japanese language learning, while also suggesting the need for controlled, effective, and context-appropriate use of such tools in modern education.
Tóm tắt
Nghiên cứu này được thực hiênh nhằm tập trung đánh giá khả năng xử lý phần đọc hiểu tiếng Nhật N3 của ChatGPT thông qua 9 tài liệu luyện thi và được lặp lại ba lần. Phương pháp nghiên cứu kết hợp định lượng và định tính. Kết quả định lượng cho thấy ChatGPT đạt tỷ lệ trả lời đúng trung bình trên 60% ở cả 9 tài liệu, trong đó ba tài liệu trên 80% và cao nhất là 89,9%. Kiểm định thống kê cho thấy không có sự khác biệt có ý nghĩa giữa ba lần chạy, phản ánh tính ổn định và độ tin cậy của mô hình. Về mặt định tính, 71,8% lời giải được đánh giá là “đúng đầy đủ ý chính”, 27,3% “đúng một phần ý chính” và chỉ 0,9% “không đúng ý chính”. Các lỗi chủ yếu là hiểu sai ý hoặc bỏ sót thông tin, cho thấy hạn chế của ChatGPT trong việc xử lý văn bản dài và phức tạp. Kết quả nghiên cứu giúp khẳng định tiềm năng ứng dụng trí tuệ nhân tạo trong việc học tiếng Nhật, đồng thời gợi ý cách sử dụng công cụ này một cách kiểm soát và hiệu quả.
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
References
Ando, K., Sato, M., Wakatsuki, S., Nagai, R., Chino, K., Kai, H., Sasaki, T., Kato, R., Nguyen, T. P., Guo, N., & Sultan, P. (2024). A comparative study of English and Japanese ChatGPT responses to anaesthesia-related medical questions. BJA Open, 10(C), 100296. https://doi.org/10.1016/j.bjao.2024.100296
Anh, T. P. N., & Ghi, N. T. (2025). Ý định áp dụng ChatGPT và kết quả học tập của sinh viên tiếng Anh thương mại: Phân tích từ mô hình TAM và lý thuyết học tập kiến tạo. Tạp chí Khoa học và Công nghệ – Trường Đại học Hùng Vương, 11(1), 62–73.
https://doi.org/10.59775/1859-3968.254
Biswas, S. (2023). Evaluating Errors and Improving Performance of ChatGPT: A Research Paper. Clinical Research and Studies, 2(3), 1-5. https://doi.org/10.31579/2835-2882/019
Borji, A. (2023). A Categorical Archive of ChatGPT Failures. ArXiv, abs/2302.03494.
https://doi.org/10.48550/arXiv.2302.03494
Cengiz, B. C., Bilki, Z., Ataş, A. H., & Celik, B. (2025). Exploring second language writers’ engagement with ChatGPT feedback: Revision behaviors and perceptions. System, 134, 103837. https://doi.org/10.1016/j.system.2025.103837
Chen, B., Zhang, Z., Langrené, N., & Zhu, S. (2025). Unleashing the potential of prompt engineering for large language models. Patterns, 6(5), 1-44. https://doi.org/10.1016/j.patter.2025.101260
Dentella, V., Günther, F., Murphy, E., Marcus, G., & Leivada, E. (2024). Testing AI on language comprehension tasks reveals insensitivity to underlying meaning. Scientific Reports, 14(1), 28083.
https://doi.org/10.1038/s41598-024-79531-8
Dirgandini, M., Lewerissa, E. D., Alvin, & Setiana, S. M. (2025). Difficulties in Learning Japanese Reading Comprehension Reviewed from the Perceptions of Indonesian Students. Forum for Linguistic Studies, 7(2), 1178–1190. https://doi.org/10.30564/fls.v7i2.8568
Farquhar, S., Kossen, J., Kuhn, L., & Gal, Y. (2024). Detecting hallucinations in large language models using semantic entropy. Nature, 630, 625–630.
https://doi.org/10.1038/s41586-024-07421-0
Itabashi, Y., & Matsubayashi, Y. (2024). An Analysis of Large Language Models’ Reading Comprehension Ability for Narrative Texts. Proceedings of the 30th Annual Meeting of the Association for Natural Language (pp.309-313). Kobe International Conference Center. https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/A2-4.pdf?utm_source
Japan Foundation. (2021). The current state of Japanese language education in Southeast Asia. https://www.jpf.go.jp/j/project/japanese/survey/result/dl/survey2021/s_east_asia.pdf
Japanese Language Proficiency Test. (2024). Past test data. https://www.jlpt.jp/e/statistics/archive.html
Kintsch, W. (1998). Comprehension: A paradigm for cognition. Cambridge University Press.
Nga, T. T. N. (2024). Tổng quan nghiên cứu về ứng dụng ChatGPT trong dạy học và đánh giá ứng dụng ChatGPT vào việc thiết kế bài giảng. Tạp chí Giáo dục, 24(9), 21–26.
Nishizawa, H., Isbell, D. R., & Suzuki, Y. (2022). Review of the Japanese-Language Proficiency Test. Language Testing, 39(3), 494–503.
https://doi.org/10.1177/02655322221080898
OpenAI (2025). ChatGPT Image Inputs FAQ. https://help.openai.com/en/articles/8400551-chatgpt-image-inputs-faq?utm_source=chatgpt.com
Quân, P. N. (2023). ChatGPT hỗ trợ khả năng tự học và phát triển năng lực số cho thanh niên. Kỷ yếu Hội thảo khoa học Cán bộ trẻ các Đại học Quốc gia, Đại học vùng mở rộng lần thứ II (tr.232-237). Trường Đại học Ngoại ngữ – Đại học Đà Nẵng.
Rajpurkar, P., Zhang, J., Lopyrev, K., & Liang, P. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. Conference on Empirical Methods in Natural Language Processing (pp. 2383–2392). Association for Computational Linguistics. https://doi.org/10.18653/v1/D16-1264
Saka, A., Taiwo, R., Saka, N., Salami, B. A., Ajayi, S., Akande, K., & Kazemi, H. (2024). GPT models in construction industry: Opportunities, limitations, and a use case validation. Developments in the Built Environment, 17, 100300. https://doi.org/10.1016/j.dibe.2023.100300
Sato, H., & Ogasawara, K. (2024). ChatGPT (GPT-4) passed the Japanese National License Examination for Pharmacists in 2022, answering all items including those with diagrams: a descriptive study. Journal of Educational Evaluation for Health Professions, 21(4), 1-8. https://doi.org/10.3352/jeehp.2024.21.4
Taira, K., Itaya, T., & Hanada, A. (2023). Performance of the large language model ChatGPT on the national nurse examinations in Japan: Evaluation study. JMIR Nursing, 6, e47305.
https://doi.org/10.2196/47305
Thủy, T. B. Đ. (2025). Chất lượng phản hồi của ChatGPT trong sửa bài viết tiếng Pháp. Tạp chí Khoa học Đại học Sư phạm Hà Nội: Khoa học Giáo dục, 70(2), 33–44.
Vinh, A. L., Diển, T. B., Quân, Q. L., & Luân, V. V. (2023). Khả năng thực hiện bài kiểm tra định kì môn Toán và môn Ngữ văn cấp trung học của công cụ ChatGPT: Kết quả nghiên cứu và một số khuyến nghị ban đầu. Tạp chí Khoa học Giáo dục Việt Nam, 19(2), 1–10.
Wan, G., Wu, Y., Chen, J., & Li, S. (2025). Reasoning Aware Self-Consistency: Leveraging Reasoning Paths for Efficient LLM Sampling. Proceedings of the 2025 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (pp. 3613–3635). Association for Computational Linguistics. https://aclanthology.org/2025.naacl-long.184/
Yang, L., Xiong, Y., & Chen, Q. (2023). The role of linguistic and cognitive skills in reading Chinese as a second language: A path analysis modeling approach. Frontiers in Psychology, 14, 1131913. https://doi.org/10.3389/fpsyg.2023.1131913
Zhou, T., Zhang, Y., Cao, S., Li, Y., Wang, T., & Yang, Y. (2025). Complementary advantages exhibited by ChatGPT and human readers in text reading inference. Current Psychology, 44(12), 12679–12693.
https://doi.org/10.1007/s12144-025-08010-8