IndoMemeXAI.

Ringkasan

IndoMemeXAI adalah riset klasifikasi meme Indonesia yang menggabungkan teks dan gambar untuk mengenali konten hateful dan non-hateful. Penelitian ini mempelajari bagaimana hubungan kedua modalitas, termasuk ketidaksesuaian antara tulisan dan visual, memengaruhi prediksi model.

Selain membandingkan strategi fusi, proyek ini menelaah alasan di balik prediksi melalui analisis atribusi dan perhatian model. Tujuannya adalah memahami performa sekaligus perilaku model pada konteks bahasa dan budaya Indonesia.

Masalah penelitian

Makna meme sering muncul dari interaksi tulisan dan gambar. Kalimat yang terlihat netral dapat memiliki arti berbeda ketika dipasangkan dengan visual tertentu. Sebaliknya, gambar saja belum tentu menjelaskan sasaran ujaran, ironi, atau konteks sosial sebuah meme.

Penelitian difokuskan pada tiga pertanyaan:

• Bagaimana representasi teks dan gambar sebaiknya digabungkan?
• Seberapa besar informasi topik membantu klasifikasi?
• Bagian input apa yang berkontribusi terhadap prediksi, terutama pada kasus yang keliru?

Data dan persiapan eksperimen

Eksperimen menggunakan dataset aiatums/INDOMEME dengan pembagian berikut:

Tugas utama adalah klasifikasi biner berdasarkan label hate. Teks dipersiapkan melalui normalisasi Unicode, URL, mention, hashtag, slang Indonesia, dan spasi. Caption serta teks hasil OCR disusun sebagai input tekstual. Gambar disesuaikan dengan ukuran dan normalisasi encoder visual.

Pembagian data dipertahankan untuk perbandingan eksperimen. Informasi topik disertakan pada varian tertentu dan dihapus pada eksperimen ablation untuk menilai pengaruhnya.

Arsitektur dan strategi fusi

IndoBERTweet membentuk representasi teks, sedangkan ViT-B/16 membentuk representasi visual dari gambar berukuran 224 x 224. Model kemudian menggabungkan informasi tersebut sebelum melakukan klasifikasi dua kelas.

Strategi yang dipelajari meliputi:

• Late fusion: menggabungkan representasi global teks dan gambar.
• Cross-attention: menggunakan representasi teks untuk mempelajari bagian visual yang relevan.
• ICAM: memodelkan interaksi lintas modalitas, ketidaksesuaian teks dan gambar, serta pembobotan fitur melalui gate yang dipelajari.
• Ablation tanpa topik: mengukur perubahan performa ketika informasi topik dihilangkan.

Pada varian yang menggunakan topik, embedding topik digabungkan dengan hasil fusi sebelum classification head. Masing-masing strategi merupakan konfigurasi eksperimen tersendiri.

Rancangan evaluasi

Evaluasi memperhatikan macro-F1, akurasi, dan recall kelas hate. Macro-F1 membantu menilai kedua kelas secara lebih seimbang, sedangkan recall kelas hate menunjukkan kemampuan model menemukan sampel pada kelas tersebut.

Eksperimen akhir menggunakan ensemble lima seed: 42, 123, 2024, 7, dan 999. Konfigurasi tanpa test-time augmentation menghasilkan metrik berikut pada test set:

Hasil ini berlaku untuk split dan konfigurasi eksperimen tersebut. Selisih macro-F1 antara training dan test sekitar 0,16812 menunjukkan bahwa generalisasi tetap menjadi perhatian dalam pengembangan.

Analisis perilaku model

Analisis explainability menggunakan Layer Integrated Gradients untuk menilai kontribusi token teks pada prediksi checkpoint tertentu. Kajian visual mencakup cross-attention map, attention rollout, dan incongruity heatmap.

Analisis perturbasi serta ROAR memberikan pendekatan lanjutan untuk memeriksa pengaruh fitur terhadap perilaku model. Penelaahan per topik dan studi kasus membantu menghubungkan metrik agregat dengan kesalahan yang terjadi pada sampel individual.

Visualisasi atribusi digunakan sebagai alat pemeriksaan. Penjelasan tetap perlu dinilai bersama konteks sampel, stabilitas hasil, dan respons model ketika input diubah.

Temuan dan keterbatasan

Pada perbandingan ensemble yang dilakukan, konfigurasi tanpa test-time augmentation memberikan macro-F1 test lebih tinggi daripada konfigurasi dengan augmentasi tersebut. Temuan ini berlaku pada rancangan eksperimen yang digunakan.

Kualitas OCR, ketidakseimbangan kelas, ketergantungan pada topik, variasi bahasa, dan perbedaan distribusi data memengaruhi interpretasi hasil. Definisi hate juga bergantung pada konteks serta keputusan anotasi.

IndoMemeXAI masih merupakan riset eksperimental. Penggunaan sebagai sistem moderasi memerlukan evaluasi tambahan pada data independen dan peninjauan manusia.

Pengembangan berikutnya

Prioritas berikutnya adalah menguji generalisasi pada data di luar split utama, memperdalam analisis kesalahan per topik, dan memeriksa kestabilan penjelasan. Setiap hasil perlu tetap terhubung dengan konfigurasi, seed, checkpoint, dan sampel agar dapat direproduksi.

Kode dan hasil eksperimen

• Kode IndoMemeXAI
• Arsitektur multimodal
• Hasil evaluasi eksperimen