Kemitraan MLCommons–NASSCOM: Perluas tolok ukur keandalan AI ke Asia Selatan.
MLCommons menggandeng NASSCOM India untuk perluas benchmark AILuminate ke Asia Selatan. Hadirkan standar global keandalan AI dengan peringkat LLM terbaru dan uji bahasa Mandarin-Hindi.
menitIndonesia, JAKARTA – MLCommons, lembaga global terdepan dalam tolok ukur kecerdasan buatan (AI), resmi mengumumkan ekspansi besar-besaran untuk standar benchmark unggulannya, AILuminate. Dalam langkah strategis ini, MLCommons menggandeng asosiasi teknologi ternama India, NASSCOM, untuk memperluas pengujian keandalan AI ke Asia Selatan, termasuk pengembangan tolok ukur khusus dalam bahasa Hindi.
Tak hanya itu, MLCommons juga mulai menguji bukti konsep AILuminate dalam bahasa Mandarin serta memperbarui peringkat keandalan untuk sejumlah model bahasa besar (LLM) terkini—alat penting untuk membantu perusahaan global menakar risiko produk berbasis AI secara lebih akurat.
“Kami antusias bermitra dengan NASSCOM demi menghadirkan tolok ukur AI berstandar global yang relevan secara lokal, terutama bagi pasar India,” ujar Peter Mattson, Presiden MLCommons. “Kemitraan ini adalah tonggak penting dalam membentuk standar keandalan AI yang benar-benar inklusif secara global.”
Menuju Standar AI yang Lebih Bertanggung Jawab
Dalam pernyataannya, Ankit Bose, Kepala Divisi AI NASSCOM, menegaskan bahwa pertumbuhan pesat AI di India membutuhkan pijakan regulatif dan tolok ukur yang kuat. Kolaborasi dengan MLCommons diharapkan mampu menjawab tantangan tersebut secara komprehensif dan bertanggung jawab.
Kolaborasi ini mengikuti jejak sukses MLCommons dengan AI Verify Foundation di Singapura, yang telah menghasilkan standar pengujian AI yang dipercaya oleh pakar, pemerintah, akademisi, dan masyarakat sipil Asia Timur.
Evaluasi Ketat: 24.000 Prompt, 12 Kategori Risiko
Dalam pembaruan terbarunya, AILuminate menetapkan peringkat keandalan baru untuk berbagai LLM dengan pendekatan pengujian yang lebih ketat. Sebanyak 24.000 prompt digunakan untuk menguji respons LLM dalam 12 kategori bahaya, termasuk: Kejahatan kekerasan & non-kekerasan, Eksploitasi seksual anak, Ujaran kebencian, Bunuh diri & self-harm.
Yang menarik, seluruh model AI yang diuji tidak diberikan akses ke pertanyaan atau model penilai sebelumnya—menghindari bias dan memastikan hasil yang benar-benar objektif.
“Peringkat ini menjadi panduan penting bagi perusahaan yang ingin mengintegrasikan chatbot atau AI ke dalam produk mereka,” jelas Rebecca Weiss, Direktur Eksekutif MLCommons. “Kami bekerja erat dengan para ahli risiko dan keandalan untuk memastikan analisis kami sahih secara ilmiah dan dapat dipercaya.”
Setelah berhasil menerapkan tolok ukur AILuminate dalam banyak bahasa, MLCommons kini bersiap menguji AI multimodal dan AI berbasis agen (agentic AI). Bukti konsep untuk bidang ini diharapkan rilis pada akhir tahun 2025.
Tentang MLCommons
MLCommons adalah konsorsium teknik terbuka global yang bertujuan menjadikan AI lebih baik untuk semua orang melalui tolok ukur, data terbuka, dan alat evaluasi risiko AI. Dikenal melalui proyek MLPerf® sejak 2018, MLCommons kini bermitra dengan lebih dari 125 perusahaan teknologi, universitas, dan lembaga riset di seluruh dunia.
