Selamat Tinggal Boros RAM, Google Perkenalkan Inovasi AI Bernama TurboQuant

OKINEWS.CO - Di tengah pesatnya perkembangan kecerdasan buatan (AI), salah satu kendala terbesar yang dihadapi oleh para pengembang dan perusahaan teknologi adalah tingginya kebutuhan sumber daya komputasi, khususnya memori fisik seperti RAM.

Model bahasa besar atau Large Language Models (LLM) modern membutuhkan kapasitas memori yang luar biasa masif, tidak hanya saat dilatih di awal, tetapi juga saat dioperasikan untuk menjawab pertanyaan pengguna (inferensi).

Menjawab tantangan krisis memori ini, Google Research secara resmi memperkenalkan sebuah inovasi algoritmik revolusioner yang diberi nama TurboQuant.

TurboQuant hadir sebagai algoritma kompresi memori AI yang diklaim mampu memangkas ukuran model hingga enam kali lipat, sekaligus meningkatkan kecepatan pemrosesan hingga delapan kali lipat.

BACA JUGA:Malas Ngetik? Search Live Google Solusi Jitu Buat Warga Indonesia

BACA JUGA:Selamat Tinggal MIUI: Redmi A2 Jadi Penutup, Xiaomi Siap Sambut Era HyperOS

Hebatnya, kompresi ekstrem ini dapat dilakukan tanpa mengorbankan kualitas, tingkat akurasi, maupun performa dari model AI itu sendiri.

Terobosan ini menjadi angin segar bagi industri teknologi yang belakangan ini terus dihantui oleh kelangkaan dan meroketnya harga perangkat keras memori seperti High Bandwidth Memory (HBM).

Mengatasi Masalah KV Cache pada AI

Bagi yang belum familier, saat sebuah model AI membaca prompt dan menghasilkan teks balasan, ia perlu menyimpan riwayat percakapan atau konteks dalam sebuah sistem memori sementara yang disebut "KV Cache" (Key-Value Cache).

BACA JUGA:OpenAI Tutup Sora: Akhir Perjalanan AI Pembuat Video yang Sempat Viral

BACA JUGA:Tak Hanya RAM, CPU Ikut Langka Akibat Boom Data Center AI

Semakin panjang konteks percakapan yang harus diingat oleh AI, semakin bengkak pula ukuran KV Cache tersebut, yang pada akhirnya menyedot kapasitas RAM (atau VRAM pada kartu grafis) secara membabi buta.

Jika memori penuh, kecepatan respons AI akan menurun drastis atau sistem akan langsung mengalami crash (Out of Memory).

Sumber: