Deteksi Pemalsuan Wajah Berbasis ResNet-50 dengan Fitur LBP-HOG-CTA CbCr: Kinerja Intra-Dataset dan Generalisasi Antar-Dataset

Abstract

Sistem pengenalan wajah masih menghadapi kerentanan terhadap serangan pemalsuan, khususnya dalam kondisi pencahayaan yang buruk, yang dapat mengancam keandalan proses verifikasi identitas. Tantangan utama terletak pada kesulitan sistem dalam membedakan wajah asli dan tiruan, yang semakin kompleks akibat mudahnya akses terhadap citra wajah melalui media sosial serta permasalahan domain shift pada data dunia nyata. Penelitian ini mengusulkan metode Face Spoofing Detection (FSD) berbasis deep learning dengan memanfaatkan arsitektur ResNet-50 yang dikombinasikan dengan teknik ekstraksi fitur Local Binary Pattern (LBP), Histogram of Oriented Gradients (HOG), dan Chromatic Textural Analysis (CTA CbCr) diharapkan dapat menangkap perbedaan halus antara ciri asli dan palsu. Evaluasi dilakukan secara menyeluruh terhadap beberapa dataset publik (CASIA-FASD, NUAA, OULU) serta dataset pribadi yang merepresentasikan kondisi aktual di lapangan. Hasil pengujian intra-dataset menunjukkan performa yang sangat baik pada akurasi dan F1-score, di mana CTA CbCr menghasilkan performa paling optimal dalam sebagian besar skenario (EER dan HTER mencapai 0,00 pada CASIA dan OULU). Namun, hasil pengujian lintas dataset dan pada data pribadi menunjukkan penurunan kinerja yang signifikan, menandakan adanya tantangan serius terkait domain shift. Meskipun pelatihan dengan multi-dataset memberikan peningkatan generalisasi pada beberapa dataset publik, performa pada data pribadi tetap terbatas. Penelitian ini menekankan potensi kuat dari kombinasi ResNet-50 dengan fitur tekstur dan warna dalam lingkungan yang terkendali, namun juga menunjukan kebutuhan pendekatan adaptasi domain yang lebih robust untuk penerapan FSD di dunia nyata.