poles.id – Penilaian terhadap ketahanan model bahasa besar (LLMs) terbaru yang dikembangkan oleh Anthropic, yaitu Fable 5 dan Opus 4.8, menunjukkan hasil yang menarik serta menjadi perhatian di kalangan peneliti dan praktisi. Studi tersebut berusaha mengevaluasi seberapa baik kedua model ini dapat menahan serangan otomatis yang bertujuan untuk memanfaatkan kerentanan yang ada. Dalam konteks ini, telah dilakukan serangkaian uji coba menggunakan framework red-teaming HackAgent yang menghasilkan ratusan ribu percobaan serangan.
Pemaparan Uji Ketahanan terhadap Serangan
Proses evaluasi mengkategorikan serangan ke dalam empat keluarga utama, mencakup 7.826 niat berbahaya yang tersebar di sepuluh kategori bahaya. Hasil dari eksplorasi ini menunjukkan bahwa meskipun kedua model dapat menahan sebagian besar serangan yang dilakukan, terdapat sejumlah kerentanan yang cukup signifikan. Terutama, serangan melalui metode adaptif iteratif menjadi faktor dominan dalam pengujian ini, sementara penggunaan teknik obfuscation statis hampir sepenuhnya berhasil dinetralkan.
Analisis Hasil Serangan
Meskipun model Fable 5 dan Opus 4.8 menunjukkan ketahanan yang baik, dilaporkan bahwa model Opus 4.8 mengalami kebobolan pada 11,5% dari seluruh intents yang diuji, sedangkan Fable 5 menunjukkan angka yang lebih baik dengan 6,1% kebobolan. Penting untuk dicatat bahwa angka-angka ini harus dipahami dengan catatan, karena tidak menunjukkan jaminan keamanan, melainkan gambaran bahwa kerentanan tetap ada meskipun dalam konfigurasi yang sudah diperkuat.
Temuan Bahaya dan Dampaknya
Ada 1.620 hasil terkonfirmasi berbahaya yang dihasilkan oleh model Opus 4.8 dan 702 dari Fable 5, yang berhasil diidentifikasi secara otomatis dan dalam langkah-langkah awal oleh model penyerang tanpa memerlukan keterlibatan ahli manusia. Temuan ini menunjukkan bahwa meskipun kedua model ini telah menjalani pengujian secara ketat, tetap ada potensi untuk memanfaatkan kelemahan yang ada dalam model-model ini, menciptakan implikasi serius untuk penggunaannya dalam aplikasi nyata.
Respons dan Arah Penelitian Selanjutnya
Perkembangan ini menarik perhatian para peneliti dan pengembang di bidang kecerdasan buatan mengenai bagaimana memperkuat model agar lebih tahan terhadap serangan yang semakin canggih. Banyak pakar berpendapat bahwa meskipun kemajuan dalam teknologi LLM sudah signifikan, tantangan untuk membuat model yang sepenuhnya aman masih jauh dari tercapai. Oleh karena itu, penelitian yang lebih mendalam diperlukan untuk mengidentifikasi dan menanggulangi kerentanan yang ada saat ini.
Kesimpulan
Secara keseluruhan, hasil evaluasi yang dilakukan terhadap Fable 5 dan Opus 4.8 menunjukkan gambaran yang lebih kompleks mengenai ketahanan model LLM di tengah berkembangnya risiko serangan otomatis. Walaupun kedua model ini menunjukkan kemampuan yang layak dalam menangkal serangan, keberadaan kerentanan yang signifikan tetap menjadi perhatian utama. Oleh karena itu, pengembangan berkelanjutan dan pengujian lebih lanjut mutlak diperlukan untuk memastikan keamanan dan efektivitas model bahasa dalam penerapan yang lebih luas.