TLDR
Model AI cenderung overconfident dalam menilai kepercayaan rekomendasi mereka. Tingkat kesalahan rekomendasi bervariasi tergantung pada jenis katalog yang digunakan. Menggunakan metode filtrasi seperti conformal abstention tidak selalu efektif dalam mengurangi kesalahan rekomendasi. Pomodo.id - Rekomendasi dari sistem kecerdasan buatan (AI) seringkali kurang dapat diandalkan. Hal ini menjadi tantangan signifikan bagi pengguna dan perusahaan yang mengandalkan AI untuk membantu mereka dalam membuat keputusan. Contoh nyata terjadi pada tahun 2024, ketika sebuah pengadilan Kanada memutuskan bahwa Air Canada harus memberikan kompensasi kepada seorang pelanggan yang mengikuti saran chatbot mereka tentang tarif duka. Keputusan ini menggarisbawahi tanggung jawab yang terus menempel pada sistem AI ketika rekomendasi yang diberikan tidak akurat.Dalam upaya meningkatkan kepercayaan terhadap rekomendasi AI, banyak pengembang berusaha untuk menambahkan skor kepercayaan yang dilaporkan oleh model AI. Skor ini bertujuan untuk memberikan gambaran tentang seberapa yakin sistem AI terhadap rekomendasinya. Namun, penelitian menunjukkan bahwa mengandalkan skor ini tidak selalu efektif. Dalam pengujian yang dilakukan di 48 kondisi berbeda, pemfilteran berdasarkan tingkat kepercayaan hanya berhasil mengurangi rekomendasi yang tidak tersedia oleh median 0,02 poin persentase. Dalam 18 dari 48 pengujian tersebut, daftar yang difilter bahkan menunjukkan hasil yang sedikit lebih buruk daripada yang tidak difilter. Hal ini menunjukkan bahwa sistem AI tidak selalu dapat menilai rekomendasi-nya dengan baik, dan justru dapat mengakibatkan kehilangan kepercayaan dari pengguna.Salah satu alasan mengapa rekomendasi AI sering kali tidak akurat adalah kurangnya konteks yang dimiliki oleh AI ketika menginterpretasikan data pengguna. Sebagai contoh, ketika sistem AI merekomendasikan produk, mereka dapat memberikan saran untuk barang yang tidak ada di katalog, mengakibatkan pelanggan yang mengklik saran tersebut merasa kecewa dan kehilangan kepercayaan pada sistem. Ini menunjukkan bahwa kepercayaan terhadap rekomendasi yang diberikan oleh AI dapat terancam, terutama jika pengguna tidak menemukan apa yang mereka cari.
Rekomendasi AI mengacu pada saran yang diberikan oleh sistem kecerdasan buatan berdasarkan analisis data pengguna. Meskipun dimaksudkan untuk membantu, penggunaan rekomendasi ini seringkali tidak sesuai dengan konteks pengguna, yang pada gilirannya dapat menurunkan tingkat kepercayaan pengguna terhadap sistem tersebut. Ketika konsumen mengabaikan rekomendasi yang tidak relevan, mereka juga kehilangan potensi pembelian yang bisa membantu penjual.
Implikasi dari temuan ini cukup signifikan bagi pemuda Indonesia, khususnya pelajar, pekerja baru, atau bahkan investor pemula. Dengan semakin populernya penggunaan AI dalam dunia ritel dan bisnis, banyak perusahaan di Indonesia yang mengadopsi teknologi ini untuk meningkatkan eficiency operasional dan interaksi dengan pelanggan. Namun, pemahaman yang lebih baik tentang bagaimana sistem ini berfungsi dan batasan yang ada dapat meningkatkan keterampilan penting di dunia kerja. Memanfaatkan alat AI secara efektif dapat menjadi nilai tambah dalam mencari pekerjaan atau mengembangkan bisnis di masa depan. Seiring dengan tumbuhnya sektor digital di Indonesia, yang diperkirakan dapat menciptakan nilai hingga Rp366 triliun jika infrastruktur dan bakat sudah siap, pemahaman dan keterampilan dalam menggunakan teknologi ini akan semakin relevan.Pengembangan lebih jauh dari sistem AI yang dapat memberikan rekomendasi lebih akurat di masa depan memerlukan lebih banyak penelitian dan pengujian dari para pengembang dan peneliti, termasuk bagaimana cara memperbaiki performa AI dalam mengelola konteks dan data pengguna. Dengan perkembangan ini, pemuda Indonesia yang terlibat dalam bidang teknologi dapat berharap untuk berkontribusi dalam menciptakan solusi yang lebih baik bagi tantangan yang ada dalam penggunaan teknologi AI.---
Diterbitkan oleh Pomodo · Redaksi Pomodo
Terbit: 18 Nov 2026, 21.12 WIB
Ditulis dengan bantuan AI dan diperiksa akurasinya terhadap sumber.
Menemukan kesalahan? Hubungi redaksi → [pomodo.id/contact](https://pomodo.id/contact)