Pengaruh Optimizer Adam, AdamW, SGD, dan LAMB terhadap Model Vision Transformer pada Klasifikasi Penyakit Paru-paru

Abstract

Penyakit paru-paru, sebagai penyebab kematian signifikan secara global, memerlukan diagnosis yang cepat dan akurat untuk mengoptimalkan hasil pengobatan. Penelitian ini menganalisis efektivitas penggunaan berbagai optimizer pada model Vision Transformer untuk klasifikasi penyakit paru-paru. Dalam penelitian ini, dibandingkan empat optimizer diantaranya Adam, AdamW, SGD, dan LAMB, untuk menentukan mana yang paling efektif dan efisien dalam meningkatkan akurasi dan kecepatan pelatihan model. Dengan menggunakan dataset gambar rontgen dada, model dilatih melalui 50 epoch dengan batch size 32 dan learning rate 0.0001. Selain itu, penelitian ini juga membahas pengaruh parameter optimizer terhadap model dalam mengidentifikasi berbagai jenis penyakit paru-paru pada gambar rontgen. Mengukur akurasi, presisi, recall, dan skor F1, serta durasi tiap epoch. Hasil penelitian menunjukkan bahwa optimizer Adam memiliki kinerja tercepat dengan rata-rata waktu 652.71 detik per epoch, sementara LAMB membutuhkan waktu terpanjang dengan rata-rata waktu 689.94 detik per epoch. SGD, meskipun waktu pelatihannya serupa berada diantara Adam dan LAMB, menunjukkan performa yang kurang optimal tetapi dapat menjadi alternatif yang tepat dalam situasi di mana stabilitas lebih penting daripada kecepatan.