Samsung Luncurkan TRUEBench, Benchmark Khusus Model AI
Samsung baru saja mengumumkan aplikasi benchmark buatan mereka sendiri yaitu TRUEBench. Aplikasi benchmark ini dirancang khusus untuk mengukur kecerdasan buatan alias AI, sejauh mana bisa membantu produktivitas di dunia kerja nyata. Benchmark ini dikembangkan langsung oleh Samsung Research, dimana benchmark ini dirancang untuk menilai performa large language models (LLM) dalam menyelesaikan tugas sehari-hari di lingkungan profesional.
Keunggulan Benchmark TRUEBench
Berbeda dari benchmark yang sudah ada, TRUEBench menawarkan cakupan yang lebih luas. Ada 10 kategori dengan 46 sub-kategori yang digunakan sebagai tolok ukur, mencakup berbagai kebutuhan seperti pembuatan konten, analisis data, ringkasan, hingga terjemahan. Totalnya, Samsung menyiapkan 2.485 set pengujian yang tidak hanya menggunakan bahasa Inggris, tapi juga 12 bahasa lain termasuk Korea, Jepang, Mandarin, Spanyol, hingga Vietnam.
Skala pengujiannya pun cukup realistis. Mulai dari permintaan singkat sepanjang 8 karakter, sampai ringkasan dokumen dengan panjang lebih dari 20.000 karakter. Semua ini dirancang untuk menggambarkan tantangan nyata di dunia kerja.
Baca Juga: Samsung Odyssey OLED G5 G50SF Resmi Hadir di Indonesia • Jagat Review
TRUEBench tidak memberikan penilaian sekadar benar atau salahnya jawaban AI. Benchmark ini juga menghitung faktor kebutuhan implisit pengguna yang sering kali tidak tertulis secara langsung. Untuk memastikan hasil lebih objektif, evaluasi tidak hanya dibuat pakai mesin, tapi juga kolaborasi dari manusia dan AI, lalu disempurnakan secara berulang. Berikutnya, evaluasi bakal dilakukan secara otomatis menggunakan patokan yang sudah dibuat sebagai standar ini, sehingga hasilnya diharapkan bisa konsisten dan minim bias.
Buat para peneliti dan juga pengembang, Samsung juga membuka akses ke data sampel dan leaderboard TRUEBench di platform Hugging Face. Pengguna bisa membandingkan performa hingga lima model AI sekaligus, termasuk melihat data tambahan seperti panjang rata-rata jawaban untuk mengukur efisiensi.
Tapi, perlu digaris bawahi, benchmark ini hanya digunakan untuk menguji kemampuan sebuah model LLM, bukan untuk menguji performa sistem atau perangkat keras dalam memproses AI.
More Articles
