poles.id – Subquadratic, sebuah perusahaan inovatif dalam bidang teknologi, baru saja mengumumkan pendekatan baru yang berpotensi mengubah cara model bahasa besar (LLM) dikembangkan. Metode yang diusung oleh Subquadratic ini dapat menawarkan peningkatan kecepatan signifikan dengan biaya jauh lebih rendah untuk tugas tertentu. Justin Dangel, salah satu pendiri dan CEO Subquadratic, menyatakan bahwa mereka berharap dapat memulai era baru efisiensi dalam pengembangan model bahasa.
Pengumuman ini menarik perhatian banyak kalangan, terutama berkenaan dengan aplikasi teknologi dalam pengolahan bahasa alami yang semakin berkembang. Di tengah kebutuhan akan solusi yang lebih cepat dan hemat biaya, pendekatan Subquadratic dianggap sebagai lompatan besar dalam efisiensi. Saat ini, sebagian besar LLM masih menggunakan arsitektur transformer, yang dikenal dengan proses yang disebut dense attention.
### Mekanisme Kerja Model Bahasa Besar
Mekanisme utama dalam LLM adalah jenis jaringan saraf yang dikenal sebagai transformer. Proses dense attention yang digunakan mengharuskan setiap kata atau bagian dari kata (disebut token) dikodekan dengan sebuah nomor. Untuk menangkap makna keseluruhan dari teks, transformer mengalikan setiap nomor dengan semua nomor lainnya untuk teks tersebut. Dalam praktiknya, sebuah teks sepanjang 10.000 kata memerlukan sekitar 50 juta perkalian individu, yang menjadi penyebab utama mengapa LLM dikenal sebagai pengkonsumsi daya yang tinggi.
Dangel menjelaskan bahwa ketika meringkas novel seperti “The Great Gatsby,” model harus mempertimbangkan kata pertama dan kata terakhir secara bersamaan, serta setiap kombinasi lainnya. Ketika panjang teks meningkat, jumlah perhitungan yang diperlukan pun meningkat secara eksponensial, yang dikenal dengan istilah ekspansi kuadratik. Misalnya, jika jumlah kata digandakan, jumlah perhitungan dapat meningkat empat kali lipat.
### Solusi Subquadratic: Perhatian Sparse
Subquadratic menawarkan solusi alternatif dengan mengalihkan fokus dari dense attention ke sparse attention. Pendekatan ini secara signifikan mengurangi jumlah perhitungan yang dibutuhkan. Alih-alih mengalikan nomor setiap token dengan setiap nomor lain, sparse attention hanya memilih beberapa nomor untuk diproses. Konsep ini didasari pada pengertian bahwa tidak semua hubungan antara kata-kata dalam sebuah teks memiliki pengaruh yang sama. Dengan demikian, efisiensi bisa diperoleh tanpa mengorbankan akurasi pemahaman terhadap teks.
### Dampak dan Potensi Masa Depan
Pengembangan ini dapat membawa perubahan signifikan dalam cara teknologi informasi dan komunikasi beroperasi. Dengan efisiensi lebih tinggi, berbagai industri, mulai dari pendidikan hingga layanan pelanggan, bisa mendapatkan manfaat dari penerapan LLM yang lebih hemat biaya dan lebih cepat. Penerapan metode ini juga diharapkan mampu memperluas jangkauan penggunaan LLM dalam aplikasi sehari-hari.
Perubahan ini menjadi perhatian karena menandakan pergeseran paradigm dalam pengembangan model bahasa. Dengan efisiensi yang ditawarkan, para peneliti dan pengembang dapat lebih fokus pada pengembangan aplikasi yang lebih responsif dan akurat. Hal ini akan membuka peluang baru bagi inovasi dalam berbagai sektor yang memanfaatkan teknologi bahasa dan komunikasi.
### Kesimpulan
Subquadratic dengan pendekatan baru ini berpotensi untuk merevolusi cara LLM dikembangkan dan diterapkan. Dengan memanfaatkan sparse attention, perusahaan berharap dapat menunjukkan bahwa efisiensi dalam pengolahan bahasa tidak hanya mungkin, tetapi juga dapat menjadi standar baru dalam industri. Laporan ini menunjukkan bahwa inovasi semacam ini dapat mendorong kemajuan yang lebih signifikan di masa depan, menjaga relevansi dan keberlanjutan teknologi dalam pengembangan produk dan layanan yang lebih baik.