Courtesy of TechCrunch
Para kontraktor yang bekerja untuk meningkatkan AI Gemini milik Google sedang membandingkan jawaban yang dihasilkan oleh Gemini dengan model pesaingnya, Claude, yang dibuat oleh Anthropic. Mereka harus menilai akurasi jawaban berdasarkan beberapa kriteria, seperti kebenaran dan panjang jawaban. Kontraktor diberi waktu hingga 30 menit untuk menentukan mana yang lebih baik antara jawaban Gemini dan Claude. Namun, ada kekhawatiran bahwa Google mungkin tidak memiliki izin untuk menggunakan Claude dalam pengujian ini, karena syarat layanan Anthropic melarang penggunaan model mereka untuk membangun produk pesaing tanpa persetujuan.
Dalam pengamatan mereka, kontraktor menemukan bahwa jawaban Claude lebih menekankan pada keselamatan dibandingkan dengan Gemini. Misalnya, Claude tidak akan menjawab pertanyaan yang dianggap tidak aman, sementara Gemini terkadang memberikan jawaban yang melanggar aturan keselamatan. Meskipun Google mengklaim tidak melatih Gemini menggunakan model dari Anthropic, mereka tetap membandingkan hasil model sebagai bagian dari proses evaluasi. Ada juga kekhawatiran bahwa Gemini dapat menghasilkan informasi yang tidak akurat tentang topik sensitif seperti kesehatan.
Pertanyaan Terkait
Q
Apa yang sedang dilakukan kontraktor terkait Gemini AI?A
Kontraktor sedang membandingkan jawaban yang dihasilkan oleh Gemini AI dengan output dari model Claude.Q
Siapa yang mengembangkan model Claude?A
Model Claude dikembangkan oleh perusahaan Anthropic.Q
Apa yang menjadi fokus utama dari evaluasi model AI?A
Fokus utama dari evaluasi model AI adalah akurasi, kebenaran, dan keamanan dari output yang dihasilkan.Q
Mengapa Claude dianggap lebih aman dibandingkan Gemini?A
Claude dianggap lebih aman karena memiliki pengaturan keamanan yang lebih ketat dan tidak memberikan respons pada permintaan yang dianggap tidak aman.Q
Apakah Google mendapatkan izin dari Anthropic untuk menggunakan Claude?A
Belum ada konfirmasi apakah Google telah mendapatkan izin dari Anthropic untuk menggunakan Claude dalam evaluasi.