Multimodal Hoax Detection.

Ringkasan

Multimodal Hoax Detection adalah prototipe riset yang dikembangkan dalam konteks kompetisi INDONERIS. Proyek ini mempelajari deteksi misinformasi Indonesia melalui teks berita, gambar terkait, dan informasi yang berasal dari transkrip audio.

Tahap pengembangan saat ini berfokus pada fondasi data: pengumpulan, pembersihan, deduplikasi, normalisasi, dan pemeriksaan potensi kebocoran label. Fondasi tersebut diperlukan sebelum strategi fusi multimodal dapat dinilai secara adil.

Masalah dan tujuan

Model deteksi hoaks dapat mempelajari ciri yang tidak mewakili isi klaim, seperti ungkapan khas situs pengecekan fakta atau berita yang muncul berulang pada training dan test set. Kondisi ini dapat membuat evaluasi terlihat lebih baik daripada kemampuan model pada kasus baru.

Proyek ini diarahkan untuk:

• Menyatukan berita dan data pengecekan fakta dalam skema yang konsisten.
• Mengurangi duplikasi dan pola yang dapat membocorkan label.
• Menyiapkan transkrip sebagai sumber informasi tambahan.
• Membangun dasar eksperimen yang dapat dibandingkan dan ditelusuri.

Pipeline persiapan data

Record dari beberapa sumber diselaraskan ke skema bersama, kemudian melalui pembersihan teks, validasi label, pemeriksaan nilai kosong, dan deduplikasi.

Pendeteksian duplikasi mencakup pencocokan persis serta pencarian kemiripan menggunakan MinHash/LSH. Pendekatan ini membantu menemukan konten yang hampir sama meskipun penulisannya berbeda.

Manifest pemrosesan menyimpan jumlah record pada setiap tahap, distribusi sumber dan label, serta parameter pembersihan. Dengan demikian, perubahan dataset dapat ditinjau melalui proses pembentukannya.

Persiapan modalitas

Hasil tahap persiapan mencakup:

Teks berita menjadi fondasi input tekstual. Gambar dan transkrip disiapkan sebagai modalitas tambahan untuk pengembangan berikutnya.

Kedua koleksi tersebut belum diasumsikan berpasangan satu-ke-satu. Dataset multimodal tetap memerlukan pemetaan yang jelas antara klaim, gambar, transkrip, sumber, dan label agar sampel dapat digunakan secara konsisten.

Komponen yang dikembangkan

Pengembangan mencakup integrasi dataset teks, normalisasi transkrip, penyaringan indikasi kebocoran label, pemeriksaan kualitas, dan antarmuka Streamlit untuk eksplorasi.

Python dan Pandas mendukung pengolahan data, sedangkan Whisper berada pada konteks penyiapan informasi dari audio. Pemisahan tahap persiapan membantu memeriksa masalah data sebelum menambahkan kompleksitas model.

Evaluasi dan status

Evaluasi pada tahap ini berfokus pada kualitas data: validitas label, kelengkapan input, distribusi sumber, konsistensi skema, serta duplikasi. Jumlah record menunjukkan hasil persiapan data dan tidak digunakan sebagai ukuran performa klasifikasi.

Ekstraksi fitur multimodal masih dalam pengembangan. Pelatihan fusi dan evaluasi komparatif merupakan tahap berikutnya; metrik klasifikasi akhir belum ditetapkan sebagai hasil selesai.

Tantangan utama

Tantangan yang perlu ditangani meliputi kebocoran sumber, ketidakseimbangan kelas, noise transkrip, dan penyelarasan modalitas. Pemisahan data juga perlu mempertimbangkan kemiripan konten agar evaluasi tidak bergantung pada pengulangan berita.

Deteksi misinformasi memerlukan penilaian konteks dan bukti. Prediksi model nantinya perlu diperlakukan sebagai dukungan analisis yang dapat ditinjau.

Pengembangan berikutnya

Langkah berikutnya adalah menetapkan split yang tahan terhadap kebocoran, menyelaraskan sampel antar modalitas, menjalankan baseline teks, gambar, serta audio atau transkrip, kemudian membandingkannya dengan model fusi.

Evaluasi lanjutan perlu menguji generalisasi pada sumber dan periode berbeda, serta menganalisis kesalahan berdasarkan jenis klaim. Tujuannya adalah memperoleh gambaran kemampuan model yang relevan untuk kasus baru.

Kode dan dokumentasi

• Kode Multimodal Hoax Detection
• Pipeline integrasi berita