NVIDIA Blackwell Jadi Standar Generative AI di Benchmark MLPerf

Perusahaan kini menghadapi tantangan besar dalam memenuhi tuntutan infrastruktur pusat data akibat adopsi AI generatif yang semakin meningkat. Salah satu tantangan utamanya adalah melatih model bahasa besar (LLM) dan menyediakan layanan real-time berbasis LLM.

NVIDIA menunjukan kepemimpinannya di industri dengan menampilkan benchmark MLPerf Inference v4.1, dimana NVIDIA mendapatkan hasil terbaik di semua tes pusat data. Platform terbaru mereka yaitu NVIDIA Blackwell, yang baru diumumkan di bulan Maret lalu, menunjukkan performa 4 kali lebih baik dari H100 Tensor Core GPU pada model LLM Llama 2 70B. Platform Blackwell sendiri bisa dikombinasikan dengan semua chip dan juga software milik NVIDIA.

Sementara itu, NVIDIA H200 Tensor Core GPU juga berhasil mencetak hasil luar biasa, terutama dalam benchmark model Mixtral 8x7B MoE yang memiliki 46,7 miliar parameter, memperkuat efisiensi dan kecepatan model MoE dalam menangani berbagai tugas LLM.

Perkenalkan NVLink dan NVSwitch

Pertumbuhan LLM meningkatkan kebutuhan komputasi untuk memproses permintaan inferensi. Untuk mendukung kebutuhan real-time, NVIDIA memperkenalkan NVLink dan NVSwitch, yang memungkinkan komunikasi bandwidth tinggi antar GPU. Dengan teknologi ini, platform Blackwell bisa meningkatkan perfoma dengan memperluas dukungan hingga 72 GPU.

Baca Juga: NVIDIA Bakal Pamer Sejumlah Inovasi AI Terbaru di Hot Chips 2024 • Jagat Review

NVIDIA juga fokus pada pengembangan perangkat lunak. H200 GPU menawarkan peningkatan performa inferensi AI generatif hingga 27% dibandingkan sebelumnya. Triton Inference Server dari NVIDIA membantu menggabungkan server inferensi menjadi satu platform terpadu untuk mempercepat penerapan model.

Model AI generatif di edge juga mendapat perhatian. Dengan platform NVIDIA Jetson AGX Orin, pengembang dapat menjalankan model AI secara lokal. Dalam benchmark MLPerf terbaru, Jetson AGX Orin meningkatkan throughput 6,2 kali lipat dan mengurangi latensi 2,4 kali lipat pada workload GPT-J LLM.

Secara keseluruhan, performa NVIDIA dalam benchmark MLPerf Inference kali ini menunjukkan keunggulan mereka dalam menyediakan infrastruktur AI yang kuat, baik di pusat data maupun di edge. Sistem bertenaga H200 GPU kini tersedia melalui penyedia layanan cloud dan produsen server, siap mendukung inovasi aplikasi dan layanan berbasis AI.