Evaluasi Model
Perbandingan Performa Model
Ringkasan evaluasi lima algoritma Machine Learning klasik yang diuji pada dataset berita kriminal berbahasa Indonesia dengan dua representasi fitur berbeda.
Model Terbaik — Evaluasi
SVM Linear + TF-IDF
Accuracy
89,17%
F1 Macro
89,15%
Performa evaluasi tertinggi di antara semua model yang diujikan pada dataset proyek ini.
Model Website — Inferensi
Logistic Regression + TF-IDF
Accuracy
87,42%
F1 Macro
87,42%
Dipilih untuk deployment website karena mendukung confidence score melalui predict_proba.
Metrik Evaluasi Keseluruhan
| Model | Fitur | Accuracy | F1 Macro | Keterangan |
|---|---|---|---|---|
| SVM Linear | TF-IDF | 0.8917 | 0.8915 | Terbaik |
| Logistic Regression | TF-IDF | 0.8742 | 0.8742 | Website |
| Extra Trees | Word2Vec | 0.7992 | 0.7994 | — |
| Naive Bayes | TF-IDF | 0.7975 | 0.7976 | — |
| Random Forest | Word2Vec | 0.7908 | 0.7914 | — |
Visualisasi F1 Macro Score
SVM Linear + TF-IDF
0.8915
Logistic Regression + TF-IDF
0.8742
Extra Trees + Word2Vec
0.7994
Naive Bayes + TF-IDF
0.7976
Random Forest + Word2Vec
0.7914