Sulitnya akses informasi akademik yang cepat dan relevan menyebabkan keterlambatan proses administrasi yang terjadi di perguruan tinggi. Ketika dihadapkan dengan informasi yang tersebar, tidak terpusat, civitas akademika akan kesulitan dalam menemukan informasi yang diinginkan. Dalam kondisi data yang terpusat, informasi pun sulit diakses dengan cepat karena tidak langsung menjawab apa yang diinginkan oleh pengguna. Masalah yang sederhana namun berdampak pada proses bisnis pendidikan tinggi cenderung dianggap normal yang berkontribusi pada tingkat pekerjaan civitas akademika alih-alih berfokus kepada peningkatan substansi akademik seperti kualitas laporan, penelitian, pengajaran, inovasi, dan lain-lain.
Olehkarenanya, informasi yang terpusat namun langsung menyentuh inti pertanyaan pengguna menjadi krusial. Salah satu teknologi yang dapat memberikan solusi tersebut adalah melalui chatbot internal di perguruan tinggi dengan advanced artificial intelligence. Melalui chatbot ini, pengguna dapat langsung memberikan pertanyaan dan mendapat jawaban oleh agen AI beserta dengan informasi tambahan seperti jenis dokumen dan nomor halaman.
Untuk dapat beradaptasi dengan perubahan proses bisnis di lingkungan perguruan tinggi, kemampuan chatbot dalam mengakumulasikan pengetahuannya melalui informasi yang diberikan ke sistem secara terus menerus menjadi krusial. Sehingga, teknologi seperti kenyamanan dalam menambah informasi melalui dokumen atau data lainnya menjadi faktor utama pengembangan. Melalui pengelolaan pengetahuan yang ada di sistem, dapat membantu proses administrasi menjadi lebih fleksibel.
Studi ini mengembangkan chatbot dalam melayani informasi akademik di Institut Teknologi Kalimantan melalui teknik bernama Retrieval-Augmented Generation (RAG). RAG merupakan sebuah teknik tambahan yang mengaugmentasi prompt berdasarkan informasi yang ada di dalam basis data. Beberapa karakter (chunks) akan ditransformasi kedalam bentuk vektor dan disimpan dalam basis data vektor. Pencarian dilakukan berdasarkan skor kemiripan antara pertanyaan dengan chunk yang telah disimpan. Top-K atau jumlah chunk dengan kemiripan terbanyak sebanyak K akan dimasukkan kedalam query prompt untuk memberikan konteks yang lebih akurat.
Pada tahapan pengambilan chunk yang paling dekat atau mirip, proses neighboring atau pengumpulan karaketer tambahan di karakter sebelum dan sesudahnya dilakukan untuk memberikan konteks tambahan. Selain itu, prompting yang tegas dengan “memaksa” model bangkitan untuk tidak memberikan informasi diluar konteks juga diberikan agar model mampu untuk memberikan informasi bahwa jawaban dari pertanyaan pengguna tidak tersedia di basis pengetahuan. Secara rinci, metode yang digunakan dalam membangun model RAG tersajikan pada gambar dibawah:
Setelah model RAG dibentuk, prototipe antarmuka dengan pengguna dikembangkan melalui web dan mobile. Untuk aplikasi web, teknologi yang digunakan meliputi FastAPI sebagai backend yang menerima permintaan klien secara asinkron, react sebagai teknologi frontend untuk memudahkan proses intergrasi chat beserta format markdown, chroma DB sebagai basis data vektor, dan mongoDB sebagai basis data non-SQL untuk penyimpanan riwayat chat. Sedangkan dari sisi mobile, teknologi flutter digunakan untuk membangun antarmuka yang mudah digunakan oleh pengguuna yang bersifat multi-platform baik Android maupun iOS.
Berikut adalah hasil aplikasi yang disasarkan pada Institut Teknologi Kalimantan:
Hasil uji coba model AI yang meliputi model bangkitan LLM dan retrieval dapat dilihat pada Tabel berikut:
Hasil evaluasi tersebut menunjukkan performa yang sangat baik pada mayoritas metrik yang diuji. Metrik Mean Reciprocal Rank (MRR) mencapai nilai tertinggi, yaitu 100%. Angka ini mencerminkan keberhasilan proses retrieval (pengambilan dokumen) di mana hampir semua dokumen yang relevan ditemukan pada peringkat pertama hasil pencarian.
Di sisi kualitas jawaban, metrik Faithfulness menunjukkan tingkat kepercayaan (fakta) yang tinggi pada jawaban chatbot, yaitu mendekati 90%. Nilai ini mengindikasikan bahwa sebagian besar jawaban yang dihasilkan didukung secara faktual oleh konteks yang diambil. Sementara itu, Context Recall mencapai persentase 86%, yang menegaskan bahwa sistem RAG berhasil menggali sebagian besar konteks yang relevan dan dibutuhkan untuk menjawab pertanyaan. Terakhir, metrik Answer Relevancy berada pada nilai 65%. Nilai ini masih tergolong kompetitif dan menunjukkan tingkat kesesuaian jawaban yang dihasilkan terhadap maksud pertanyaan pengguna.
Kesimpulan dan Saran
Pengembangan prototipe awal chatbot untuk perguruan tinggi ITK telah selesai dikembangkan dari segi model awal, antarmuka web, dan perangkat mobile. Dengan mekanisme metode yang diajukan dapat memberikan konteks retrieval tinggi yaitu sekitar 100% dengan metrik RAGAS yang kompetitif yaitu sekitar 80%.
Saran untuk pengembangan selanjutnya dapat menggunakan model yang lebih besar untuk meningkatkan answer relevancy dan terhubung dengan sistem API yang ada di ITK. Melalui model yang lebih besar diharapkan dapat meningkatkan kemampuan generatif yang lebih kontekstual dan kaya. Selain itu integrasi dengan sistem internal API kampus dapat mempermudah pengguna, misal ketika mahasiswa ingin melihat IPK, ketika dosen ingin memasukkan nilai matakuliah, atau proses administrasi tugas akhir.
Anggota Tim :
1. Rizky Amelia, S.Si., M.Han.
2. Nisa Rizqiya Fadhliana, S.Kom., M.T.
Memberikan alternatif proses pencarian informasi yang lebih cepat di perguruan tinggi dengan informasi rujukan dokumen beserta halaman dan tautan yang relevan.