poles.id – Penelitian terbaru mengenai Large Language Models (LLMs) menunjukkan bahwa meskipun model tersebut memiliki kemampuan bahasa yang luar biasa, mereka juga menunjukkan kelemahan yang paradoks dalam hal aritmatika dasar. Hal ini mengindikasikan adanya ketidaksesuaian antara perhitungan internal dan output diskrit yang dihasilkan. Studi ini berfokus pada analisis geometri aliran residu selama proses penjumlahan dengan beberapa operand, di mana para peneliti mengidentifikasi struktur geometri yang disebut Iso-Raw-Sum Trajectory (IRST).
Pemahaman Geometris dalam LLMs
Dalam penelitian ini, IRST menjadi kunci untuk memahami bagaimana representasi pada model tersebut terhubung dengan digit semantik dan dipengaruhi oleh serat carry yang bersifat kontinu. Dengan memetakan geometris dari perkalian dan penjumlahan yang dilakukan oleh model, para peneliti menemukan bahwa ada kesalahan aritmetik yang dapat dijelaskan melalui apa yang disebut sebagai Geometric Slippages. Hal ini disebabkan oleh noise internal dalam jaringan saraf yang mendorong potensi carry kontinu melintasi ambang kuantisasi.
Model Kuantisasi Berisik
Para peneliti mengajukan konsep Noisy Quantization Model untuk menjelaskan geometri yang teramati. Model ini menginterpretasikan kesalahan aritmatik sebagai hasil dari gangguan yang ada dalam proses pemrosesan internal, menunjukkan bahwa noise dapat mempengaruhi hasil keluaran LLMs dalam hal keakuratan perhitungan. Hal ini menggambarkan pentingnya pemahaman lebih dalam mengenai mekanisme internal model untuk meningkatkan performanya pada tugas-tugas aritmetika.
Versatilitas Probe dalam Deteksi Sinyal
Selanjutnya, penelitian ini memberikan wawasan tentang bagaimana probe ringan dapat memisahkan sinyal laten yang saling menyatu, seperti antara kebenaran dan halusinasi, hanya dari satu vektor aktivasi. Konsep ini memungkinkan pengembangan alat yang lebih efisien untuk mendiagnosis dan mengatasi kesalahan dalam model. Dengan cara ini, kemampuan untuk menganalisis dan membenahi kesalahan dalam LLMs dapat ditingkatkan, menjadikannya lebih andal dalam berbagai aplikasi.
Pemeriksaan Konsistensi Geometris
Untuk memvalidasi temuan mereka, para peneliti menggunakan metode pemeriksaan konsistensi geometris yang efektif dalam mendeteksi dan memperbaiki kegagalan kuantisasi selama proses inferensi. Metode ini berfungsi untuk memastikan bahwa model mampu memberikan output yang lebih stabil dan akurat meskipun terjadi gangguan internal. Hal ini penting karena dalam berbagai aplikasi pengolahan bahasa alami, keakuratan hasil sangat krusial.
Kesimpulan
Secara keseluruhan, penelitian ini memberikan pandangan baru mengenai mekanisme kerja LLMs dalam hal aritmetika dan kesalahan yang mungkin terjadi. Dengan mengembangkan model dan metode baru seperti Noisy Quantization Model dan menggunakan pemeriksaan konsistensi geometris, diharapkan performa dan keandalan LLMs dapat terus ditingkatkan. Penemuan ini tidak hanya bermanfaat untuk pengembangan teknologi bahasa, tetapi juga dapat mempengaruhi cara kita berinteraksi dan memanfaatkan kecerdasan buatan dalam kehidupan sehari-hari.