AI summary
Tinjauan sejawat yang dihasilkan oleh AI menjadi masalah yang dihadapi oleh konferensi ilmiah. Analisis oleh Pangram Labs menunjukkan bahwa banyak tinjauan dan manuskrip mengandung elemen yang dihasilkan oleh AI. Penulis manuskrip perlu waspada terhadap kualitas tinjauan sejawat yang mungkin dihasilkan oleh model bahasa besar. Dalam konferensi ICLR tahun 2026 yang akan dilaksanakan di Rio de Janeiro, ditemukan bahwa banyak peer review ditulis menggunakan kecerdasan buatan (AI). Hal ini menimbulkan kekhawatiran di kalangan peneliti bahwa kualitas dan keakuratan evaluasi ilmiah mulai terkikis oleh penggunaan AI yang tidak terkendali.Graham Neubig dari Carnegie Mellon University menjadi salah satu korban review yang dicurigai dibuat oleh AI. Review tersebut sangat panjang dan berisi permintaan analisis yang tidak biasa, yang berbeda dari standar review tradisional di bidang pembelajaran mesin.Pangram Labs, sebuah perusahaan teknologi yang mengembangkan alat deteksi AI, melakukan analisis terhadap hampir 20 ribu studi dan 75 ribu peer review yang masuk. Mereka menemukan bahwa sekitar 21% review sepenuhnya dihasilkan oleh AI, dan lebih dari setengahnya menunjukkan tanda-tanda penggunaan AI.Konferensi ICLR kemudian mengumumkan akan mulai menggunakan alat otomatis untuk mendeteksi kehadiran AI dalam peer review dan naskah agar dapat menegakkan kebijakan terkait penggunaan AI. Ini langkah krusial untuk menjaga integritas dan kepercayaan dalam proses ilmiah.Para peneliti merasa frustrasi dan curiga terhadap kualitas review yang dibuat oleh AI, yang terkadang bahkan berisi kesalahan dan tidak relevan dengan isi karya mereka. Isu ini menjadi panggilan agar komunitas akademik lebih waspada dan mengatur penggunaan AI dalam proses peer review ke depan.
Penggunaan AI dalam peer review tanpa pengawasan ketat dapat merusak fondasi akademik yang mengandalkan evaluasi manusia yang kritis dan berpengetahuan mendalam. Meskipun AI dapat membantu, ketergantungan berlebihan bisa menurunkan kualitas dan kepercayaan proses publikasi ilmiah secara signifikan.