Pengembangan Sistem Tanya Jawab untuk Pencarian Hadis Tematik Menggunakan Model Llama-3 dengan Pendekatan Retrieval-Augmented Generation

Zannuba; Hendri  Ahmadian; Nurrizqa

Authors

Zannuba Universitas Negeri Ar-Raniry Banda Aceh https://orcid.org/0009-0009-2828-2779
Hendri Ahmadian Universitas Islam Negeri Ar-Raniry Banda Aceh https://orcid.org/0000-0002-4387-9436
Nurrizqa Universitas Negeri Ar-Raniry Banda Aceh

Keywords:

pencarian hadis tematik, Large Language Model, Llama 3.1, low-rank adaptation, retrieval-augmented generation

Abstract

Pencarian hadis berdasarkan tema masih menghadapi kendala karena koleksi hadis mencakup banyak riwayat yang tersebar dalam berbagai kitab dan topik, sedangkan pengguna sering tidak mengetahui redaksi maupun sumber hadis yang dicari. Penelitian ini bertujuan mengembangkan sistem pencarian hadis tematik berbasis Retrieval-Augmented Generation (RAG) menggunakan model Llama 3.1-8B-Instruct yang diadaptasi melalui fine-tuning dengan teknik Low-Rank Adaptation (LoRA). Sistem memanfaatkan 33.738 hadis dari enam kitab utama, model BAAI/bge-m3 untuk membentuk representasi semantik, serta FAISS untuk memperoleh tiga hadis paling relevan terhadap setiap pertanyaan pengguna. Hadis hasil retrieval selanjutnya digunakan sebagai konteks bagi model untuk menghasilkan penjelasan singkat. Sistem menyajikan teks Arab, terjemahan bahasa Indonesia, penjelasan, derajat, dan referensi hadis agar hasil yang diberikan dapat diperiksa kembali oleh pengguna. Evaluasi terhadap 50 kueri menghasilkan Hit Rate@3 sebesar 1,000, MRR@3 sebesar 1,000, dan NDCG@3 sebesar 0,944. Evaluasi kualitas penjelasan menggunakan RAGAS dengan GPT-5.4 melalui OpenAI API sebagai model penilai menghasilkan skor Faithfulness sebesar 0,880 dan Answer Relevancy sebesar 0,745. Hasil tersebut menunjukkan bahwa sistem mampu menemukan hadis relevan secara konsisten dan menghasilkan penjelasan yang umumnya sesuai dengan konteks, meskipun penyaringan relevansi dan pembatasan elaborasi model masih perlu disempurnakan.

Author Biographies

Hendri Ahmadian, Universitas Islam Negeri Ar-Raniry Banda Aceh

Dosen Program Studi Teknologi Informasi, Fakultas Sains dan Teknologi, Universitas Islam Negeri Ar-Raniry Banda Aceh.
Nurrizqa, Universitas Negeri Ar-Raniry Banda Aceh

Dosen Program Studi Teknologi Informasi, Fakultas Sains dan Teknologi, Universitas Islam Negeri Ar-Raniry Banda Aceh.

References

[1] M. Asgari-Bidhendi, M. A. Ghaseminia, A. Shahbazi, S. A. Hossayni, N. Torabian, and B. Minaei-Bidgoli, “Rezwan: Leveraging Large Language Models for Comprehensive Hadith Text Processing: A 1.2M Corpus Development,” 2025, [Online]. Available: http://arxiv.org/abs/2510.03781

[2] S. Susanti, I. Najiyah, Y. Ramdhani, A. Herliana, M. K. Muckti, and F. R. Oktaviani, “Searching Sahih Hadiths Based on Queries using Neural Models and FastText,” J. Appl. Data Sci., vol. 6, no. 1, pp. 272–285, 2025, doi: 10.47738/jads.v6i1.467.

[3] M. Yue, “A Survey of Large Language Model Agents for Question Answering,” 2025, [Online]. Available: http://arxiv.org/abs/2503.19213

[4] Z. Ji et al., “Survey of Hallucination in Natural Language Generation,” ACM Comput. Surv., vol. 55, no. 12, 2023, doi: 10.1145/3571730.

[5] K. Martineau, A. I. Explainable, and A. I. Generative, “What is retrieval-augmented generation?,” IBM Res. Blog, vol. 22, 2023.

[6] T. T. Procko and O. Ochoa, “Graph Retrieval-Augmented Generation for Large Language Models: A Survey,” Proc. - 2024 Conf. AI, Sci. Eng. Technol. AIxSET 2024, pp. 166–169, 2024, doi: 10.1109/AIxSET62544.2024.00030.

[7] A. Y. Alan, E. Karaarslan, and O. Aydin, “Improving LLM Reliability with RAG in Religious Question-Answering: MufassirQAS,” vol. 9, no. 3, pp. 544–559, 2025.

[8] R. Ahadi, N. Safaat Harahap, M. Fikry, and F. Kurnia, “Retrieval-Augmented Generation in a Web-Based Question Answering System for Fiqh Books,” J. Artif. Intell. Softw. Eng., vol. 5, no. 2, pp. 626–635, 2025, doi: 10.30811/jaise.v5i2.7005.

[9] N. A. M. Herwanza, N. S. Harahap, F. Yanto, and F. Insani, “Penerapan Langchain Retriever dengan Model Chat Openai dalam Pengembangan Sistem Chatbot Hadis Berbasis Telegram,” J. Teknol. Inf. dan Multimed., vol. 6, no. 1, pp. 70–83, 2024.

[10] M. I. Syah, “Penerapan Retrieval Augemented Generation Menggunakan Langchain Dalam Pengembangan Sistem Tanya Jawab Hadis Berbasis Web,” Zo. Sist. Inf., vol. 6, no. 2, pp. 370–379, 2024.

[11] M. R. Rizqullah, A. Purwarianti, and A. F. Aji, “QASiNa: Religious Domain Question Answering Using Sirah Nabawiyah,” 2023 10th Int. Conf. Adv. Informatics Concept, Theory Appl. ICAICTA 2023, 2023, doi: 10.1109/ICAICTA59291.2023.10390123.

[12] Z. Khalila et al., “Investigating Retrieval-Augmented Generation in Quranic Studies: A Study of 13 Open-Source Large Language Models,” Int. J. Adv. Comput. Sci. Appl., vol. 16, no. 2, pp. 1361–1371, 2025, doi: 10.14569/IJACSA.2025.01602134.

[13] M. A. Asl and B. Minaei-Bidgoli, “FARSIQA: Faithful & Advanced RAG System for Islamic Question Answering,” 2025.

[14] R. AHADI, “Retrieval-Augmented Generation in a Web-Based Question Answering System for Fiqh Books,” J. Artif. Intell. Softw. Eng., vol. 5, no. 2, pp. 626–635, 2025.

[15] E. J. Hu et al., “Lora: Low-rank adaptation of large language models.,” Iclr, vol. 1, no. 2, p. 3, 2022.

[16] T. J. Ahalpara, “Tell Me: An LLM-powered Mental Well-being Assistant with RAG, Synthetic Dialogue Generation, and Agentic Planning,” 2025, [Online]. Available: http://arxiv.org/abs/2511.14445

[17] Y. M. Tamm, R. Damdinov, and A. Vasilev, Quality metrics in recommender systems: Do We calculate metrics consistently?, vol. 1, no. 1. Associationfor Computing Machinery, 2021. doi: 10.1145/3460231.3478848.

[18] S. Es, J. James, L. Espinosa-Anke, and S. Schockaert, “RAGAS: Automated Evaluation of Retrieval Augmented Generation,” EACL 2024 - 18th Conf. Eur. Chapter Assoc. Comput. Linguist. Proc. Syst. Demonstr., pp. 150–158, 2024, doi: 10.18653/v1/2024.eacl-demo.16.