Koreksi Jawaban Esai Berdasarkan Persamaan Makna Menggunakan Fasttext dan Algoritma Backpropagation

Dian Ahkam Sani; M. Zoqi Sarwani

doi:10.23887/janapati.v11i2.49192

Authors

Dian Ahkam Sani Universitas Merdeka Pasuruan
M. Zoqi Sarwani Universitas Merdeka Pasuruan

DOI:

https://doi.org/10.23887/janapati.v11i2.49192

Keywords:

Automatic Essay Score, Word Embedding, FastText, Backpropagation

Abstract

Word Embedding adalah bagian dari NLP (Natural Language Processing) yang belakangan ini menjadi topik menarik untuk diteliti. Facebook AI research mengusulkan FastText sebagai salah satu metode word embedding yang memiliki keunggulan menemukan kata yang jarang ditemui atau OOV (Out of Vocab). Algoritma Backpropagation sebagai salah satu metode yang tidak hanya bisa mengklasifikasi namun juga memprediksi dengan arsitektur multilayer yang sering digunakan dengan mencari bobot optimal pada jaringan saraf tiruan. Pada tingkat akademisi penggunaan word embedding sudah banyak dilakukan untuk mencari kesamaan kata ataupun makna. Penelitian ini bertujuan untuk mengoreksi jawaban esai berdasarkan kesamaan makna sebagai alternatif bagi guru dalam menilai ujian. Data yang digunakan adalah data jawaban yang diambil dari pelajaran bahasa Indonesia sebanyak 10 soal dari total 50 siswa. Data jawaban tersebut nantinya akan ditraining dan disimpan kedalam bentuk vektor dengan menggunakan FastText. Sedangkan pemodelan data train sebelumnya menggunakan model corpus wikipedia dengan besaran dimensi vektor 200, n-window 5, dan min-count 3. Dari proses tersebut maka hasil penelitian menunjukkan bahwa dari 500 data yang digunakan didapatkan kombinasi terbaik dimana data training 75% sebesar 375 data dan jumlah data testing 25% sebesar 125 data dengan membandingkan nilai Y_aktual dengan Y_prediksi menggunakan MAPE (Mean Absolute Percentage Error) sehingga nilai MAPE terbaik yang didapatkan pada hasil pengujian proses training dan testing masing-masing 5% dan 8%. Dari hasil tersebut dapat dilihat bahwa model yang dihasilkan menggunakan algoritma backpropagation untuk melakukan penilaian/koreksi jawaban secara otomatis sangat baik.

References

H. Budiman, “Peran Teknologi Informasi Dan Komunikasi Dalam Pendidikan,” Al-Tadzkiyyah J. Pendidik. Islam, vol. 8, no. 1, p. 31, 2017, doi: 10.24042/atjpi.v8i1.2095.

S. S. W. Lubis, “Keterampilan Menulis Essai Dalam Pembentukan Berpikir Kritis Mahasiswa Prodi PGMI UIN Ar-Raniry Banda Aceh,” PIONIR J. Pendidik., vol. 8, no. 2, pp. 1–17, 2019, [Online]. Available: https://jurnal.ar-raniry.ac.id/index.php/Pionir/index.

J. Bhattacharjee, fastText Quick Start Guide: Get started with Facebook’s library for text representation and classification. Packt Publishing, 2018.

D. Shen et al., “Baseline needs more love: On simple word-embedding-based models and associated pooling mechanisms,” ACL 2018 - 56th Annu. Meet. Assoc. Comput. Linguist. Proc. Conf. (Long Pap., vol. 1, pp. 440–450, 2018, doi: 10.18653/v1/p18-1041.

B. Athiwaratkun, A. G. Wilson, and A. Anandkumar, “Probabilistic fasttext for multi-sense word embeddings,” ACL 2018 - 56th Annu. Meet. Assoc. Comput. Linguist. Proc. Conf. (Long Pap., vol. 1, pp. 1–11, 2018, doi: 10.18653/v1/p18-1001.

Y. D. Prabowo, T. L. Marselino, and M. Suryawiguna, “Pembentukan Vector Space Model Bahasa Indonesia Menggunakan Metode Word to Vector,” J. Buana Inform., vol. 10, no. 1, p. 29, 2019, doi: 10.24002/jbi.v10i1.2053.

P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov, “Enriching Word Vectors with Subword Information,” Trans. Assoc. Comput. Linguist., vol. 5, pp. 135–146, 2017, doi: 10.1162/tacl_a_00051.

A. Joulin, E. Grave, P. Bojanowski, M. Douze, H. Jégou, and T. Mikolov, “FastText.zip: Compressing text classification models,” pp. 1–13, 2016, [Online]. Available: http://arxiv.org/abs/1612.03651.

A. Raffi, M. Mulki, M. A. Bijaksana, A. A. Suryani, and T. Batasannya, “Analisis Model Word2vec dalam Penyelesaian Soal Analogi pada Bahasa Indonesia Pendahuluan Studi Terkait,” vol. 6, no. 2, pp. 8513–8519, 2019.

M. Z. Sarwani and D. A. Sani, “Social Media Analysis Using Probabilistic Neural Network Algorithm to Know Personality Traits,” Inf. J. Ilm. Bid. Teknol. Inf. dan Komun., vol. 6, no. 1, pp. 61–64, 2021, doi: 10.25139/inform.v6i1.3307.

Munir, L. S. Riza, and A. Mulyadi, “An Automatic Scoring System for Essay by Using Methods Combination of Term Frequency and n-Gram,” Int. J. Trend Res. Dev., vol. 3, no. 6, pp. 403–407, 2016, [Online]. Available: www.ijtrd.com.

A. A. Putri Ratna, H. Khairunissa, A. Kaltsum, I. Ibrahim, and P. D. Purnamasari, “Automatic Essay Grading for Bahasa Indonesia with Support Vector Machine and Latent Semantic Analysis,” ICECOS 2019 - 3rd Int. Conf. Electr. Eng. Comput. Sci. Proceeding, no. 2, pp. 363–367, 2019, doi: 10.1109/ICECOS47637.2019.8984528.

A. Amalia, D. Gunawan, Y. Fithri, and I. Aulia, “Automated Bahasa Indonesia essay evaluation with latent semantic analysis,” J. Phys. Conf. Ser., vol. 1235, no. 1, 2019, doi: 10.1088/1742-6596/1235/1/012100.

R. A. Rajagede, “Improving Automatic Essay Scoring for Indonesian Language using Simpler Model and Richer Feature,” Kinet. Game Technol. Inf. Syst. Comput. Network, Comput. Electron. Control, vol. 4, pp. 11–18, 2021, doi: 10.22219/kinetik.v6i1.1196.

D. Hindarto and H. Santoso, “NON-NEURAL NETWORK AND NEURAL NETWORK Jurnal Nasional Pendidikan Teknik Informatika : JANAPATI | 50,” vol. 11, pp. 49–62, 2022.