Sistem Automated Grading untuk Penilaian Kode Program pada Pembelajaran Dasar Pemrograman Menggunakan Text Mining
Abstrak
Penilaian tugas pemrograman merupakan proses evaluasi terhadap kemampuan mahasiswa dalam menyusun logika dan sintaks kode secara tepat sesuai dengan permasalahan yang diberikan. Namun, penilaian manual sering kali memerlukan waktu yang lama dan berpotensi menghasilkan inkonsistensi akibat perbedaan gaya penulisan kode. Untuk mengatasi hal tersebut, penelitian ini mengembangkan sistem Automated Grading berbasis web dengan menerapkan metode Text Mining dan algoritma Cosine Similarity, guna mendukung proses penilaian yang lebih efisien dan objektif. Sistem memproses kode program melalui beberapa tahapan, mulai dari pengecekan sintaks, preprocessing, tokenisasi, hingga representasi vektor menggunakan model CodeBERT, serta perhitungan tingkat kemiripan antara jawaban mahasiswa dan kunci jawaban. Selain itu, fitur output match disediakan untuk mengevaluasi kesesuaian hasil eksekusi program. Hasil pengujian akurasi menunjukkan nilai Mean Absolute Error (MAE) sebesar 9.0 dan Pearson Correlation sebesar 0.865, yang menandakan adanya korelasi linier yang kuat antara penilaian sistem dan dosen. Pengujian White box memastikan bahwa jalur logika sistem telah berjalan sesuai rancangan, sementara hasil User Acceptance Test (UAT) menunjukkan tingkat penerimaan pengguna sebesar 83,33%. Berdasarkan hasil tersebut, sistem dapat dimanfaatkan sebagai alat bantu penilaian tugas pemrograman karena mampu mempercepat proses, menjaga konsistensi, dan memberikan kemudahan bagi dosen dalam kegiatan pembelajaran. Meskipun demikian, model CodeBERT yang digunakan masih memiliki keterbatasan karena hanya menganalisis kesamaan sintaksis tanpa memahami konteks eksekusi maupun logika program secara menyeluruh.