Pengukuran Kinerja Lembaga dengan Penerapan Sentiment Analysis

Authors

  • Sri Wahyuni Universitas Ahmad Dahlan
  • Sri Winiarti Universitas Ahmad Dahlan

DOI:

https://doi.org/10.12928/jstie.v8i2.20033

Keywords:

Kinerja Lembaga, Sentiment Analysis, Fuzzy C-Means (FCM), K-Nearest Neighbor

Abstract

Pengukuran kinerja lembaga merupakan hal yang penting untuk dilakukan guna menjamin mutu kualitas pendidikan. Pengukuran kinerja lembaga di Universitas Ahmad Dahlan (UAD) dilakukan oleh Badan Penjaminan Mutu menggunakan angket kepuasan responden dengan 4 skala jawaban yaitu "sangat tidak memuaskan", "tidak memuaskan", "memuaskan" dan "sangat memuaskan". Data angket masih diolah secara manual dan belum digunakan untuk memberikan kesimpulan atau rekomendasi terhadap kinerja unit/lembaga. Data angket tersebut bisa dimanfaatkan untuk diklasifikasikan ke dalam kelas positif dan negatif sehingga dapat digunakan untuk pengukuran kinerja lembaga. Penelitian ini bertujuan untuk mengembangkan sistem pengukuran kinerja lembaga dengan penerapan sentiment analysis menggunakan kombinasi metode Fuzzy C-Means (FCM) dan K-Nearest Neighbors (K-NN). Manfaat dari penelitian ini yaitu dapat mempermudah evaluasi kinerja lembaga secara efisien, optimal dan akurat.

Metode pengumpulan data dengan studi pustaka dan teknik wawancara. Tahapan pengembangan sistem meliputi analisis data, analisis kebutuhan sistem, perancangan sistem terdiri dari perancangan flowchart sistem, flowchart FCM, flowchart K-NN dan perancangan antarmuka, implementasi dan pengujian.

Hasil penelitian ini yaitu sistem yang dapat memprediksi kelas sentimen pada angket kepuasan responden ke dalam kelas positif dan negatif, serta menghasilkan rekomendasi perbaikan untuk setiap unit/lembaga. Akurasi tertinggi menggunakan metode confusion matrix sebesar 98%, precision 0,97 dan recall 0,97 pada nilai k (K-NN) yaitu k=4 dan k=5. Penelitian ini menggunakan 1564 data angket dari 11 unit dengan jumlah data masing-masing unit berbeda. Hasil sentiment analysis terhadap 11 unit didapatkan prosentase sentimen positif 22% dan negatif 78%. Prosentase sentimen negatif yang lebih tinggi bermakna bahwa kinerja unit/lembaga di UAD secara rata-rata kurang baik.

References

Y. Permatasari, U. Salamah, and R. Saptono, “Klasifikasi Risiko Bahaya Kehamilan dengan Metode Fuzzy C-Means,†J. ITSMART, vol. 2, no. June, pp. 8–15, 2013, doi: 10.20961/its.v2i1.610.

V. N. Phu, N. D. Dat, V. T. N. Tran, V. T. N. Chau, and T. A. Nguyen, “Fuzzy C-means for english sentiment classification in a distributed system,†Appl. Intell., vol. 46, no. 3, pp. 717–738, 2016, doi: 10.1007/s10489-016-0858-z.

A. Salam, J. Zeniarja, and R. S. U. Khasanah, “ANALISIS SENTIMEN DATA KOMENTAR SOSIAL MEDIA FACEBOOK DENGAN K-NEAREST NEIGHBOR ( STUDI KASUS PADA AKUN JASA EKSPEDISI BARANG J&T EKSPRESS INDONESIA),†in Prosiding SINTAK, 2018, pp. 480–486.

B. Pang and L. Lee, Opinion Mining and Sentiment Analysis, vol. 2. 2008.

G. S. Linoff and M. J. A. Berry, Data Mining Techniques : For Marketing, Sales, and Customer Relationship Management. Canada: Willey, 2011.

F. Nurhuda, S. Widya Sihwi, and A. Doewes, “Analisis Sentimen Masyarakat terhadap Calon Presiden Indonesia 2014 berdasarkan Opini dari Twitter Menggunakan Metode Naive Bayes Classifier,†J. Teknol. Inf. ITSmart, vol. 2, no. 2, p. 35, 2016, doi: 10.20961/its.v2i2.630.

L. Ardiani and H. Sujaini, “Implementasi Sentiment Analysis Tanggapan Masyarakat Terhadap Pembangunan di Kota Pontianak Implementation of Sentiment Analysis of Community Responses to Development in Pontianak City,†vol. 8, no. 2, pp. 44–51, 2020, doi: 10.26418/justin.v8i2.36776.

K. R. Prilianti and H. Wijaya, “Aplikasi Text Mining untuk Automasi Penentuan Tren Topik Skripsi dengan Metode K-Means Clustering,†J. Cybermatika, vol. 2, no. 1, pp. 1–6, 2014, [Online]. Available: http://www.mendeley.com/research/aplikasi-text-mining-untuk-automasi-penentuan-tren-topik-skripsi-dengan-metode-kmeans-clustering.

F. Z. Tala, “A Study of Stemming Effects on Information Retrieval in Bahasa Indonesia,†M.Sc. Thesis, Append. D, vol. pp, pp. 39–46, 2003.

A. A. Maarif, “Penerapan Algoritma TF-IDF untuk Pencarian Karya Ilmiah,†Dok. Karya Ilm. | Tugas Akhir | Progr. Stud. Tek. Inform. - S1 | Fak. Ilmu Komput. | Univ. Dian Nuswantoro Semarang, no. 5, p. 4, 2015, [Online]. Available: mahasiswa.dinus.ac.id/docs/skripsi/jurnal/15309.pdf.

S. Kusumadewi, Analisis & Desain Sistem Fuzzy Menggunakan Toolbox Matlab. Yogyakarta: Graha Ilmu, 2002.

D. T. Larose, Discovering Knowledge in Data : An Introduction to Data Mining. Canada: John Wiley & Sons, 2005.

B. Santosa and A. Umam, Data Mining dan Big Data Analytics. Yogyakarta: Penebar Media Pustaka, 2018.

E. Prasetyo, Data Mining : Mengolah Data Menjadi Informasi Menggunakan Matlab. Yogyakarta: Penerbit Andi, 2014.

R. Feldman and J. Sanger, The Text Mining Handbook : Advanced Approaches in Analyzing Unstructured Data. New York: Cambridge University Press, 2007.

J. Han, M. Kamber, and J. Pei, Data mining: Data mining concepts and techniques, Third Edit. United States of America, 2012.

Downloads

Published

30-06-2020

Issue

Vol. 8 No. 2 (2020): Juni

Section

Articles

License

License and Copyright Agreement

In submitting the manuscript to the journal, the authors certify that:

  1. They are authorized by their co-authors to enter into these arrangements.
  2. The work described has not been formally published before, except in the form of an abstract or as part of a published lecture, review, thesis, or overlay journal. Please also carefully read Journal Posting Your Article Policy.
  3. The work is not under consideration for publication elsewhere.
  4. The work has been approved by all the author(s) and by the responsible authorities – tacitly or explicitly – of the institutes where the work has been carried out.
  5. They secure the right to reproduce any material that has already been published or copyrighted elsewhere.
  6. They agree to the following license and copyright agreement.


Copyright

Authors who publish with Jurnal Sarjana Teknik Informatika agree to the following terms:

  1. Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License (CC BY-SA 4.0) that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.
  2. Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgement of its initial publication in this journal.
  3. Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work.