Evaluasi Kemampuan ChatGPT dalam Mengonversi Kebutuhan Sistem Berbasis BPMN Menjadi Formula Linear Temporal Logic (LTL)

Abstract

Perumusan spesifikasi formal dalam pengembangan perangkat lunak berbasis model merupakan tantangan yang signifikan karena kompleksitas logika formal. Linear Temporal Logic (LTL) merupakan pendekatan yang umum digunakan untuk merepresentasikan perilaku sistem dalam domain waktu. Namun, proses transformasi kebutuhan berbasis teks (tekstual requirement) menjadi ekspresi LTL secara manual membutuhkan waktu dan keahlian khusus. Penelitian ini mengeksplorasi kemampuan Large Language Model (LLM), khususnya ChatGPT, dalam mengotomatisasi konversi tekstual requirement ke dalam LTL. Tiga skenario Business Process Model and Notation (BPMN)—Login System, Make Cash Inflow, dan Display Mandatory Savings—digunakan sebagai studi kasus. Hasil generasi LTL oleh LLM dibandingkan dengan hasil manual oleh pakar logika formal. Evaluasi dilakukan berdasarkan kesamaan semantik dan sintaksis, dengan skor rata-rata akurasi mencapai 91,6%. Studi ini menunjukkan bahwa LLM berpotensi mempercepat dan menyederhanakan proses penyusunan spesifikasi formal, dengan tetap mempertahankan akurasi yang tinggi.