TLDR
Perplexity diduga melanggar aturan crawling yang ditetapkan oleh pemilik situs web. Cloudflare mengidentifikasi teknik yang digunakan oleh Perplexity untuk menghindari pembatasan. Ada kekhawatiran yang meningkat mengenai dampak crawler AI terhadap industri penerbitan. Perplexity, sebuah startup AI yang fokus pada pencarian, baru-baru ini dituduh mengabaikan aturan dari situs-situs web yang tidak ingin diakses oleh crawler AI mereka. Cloudflare, perusahaan besar di bidang infrastruktur internet, melaporkan bahwa Perplexity tidak hanya melewati batasan mereka, tapi juga secara sengaja menyembunyikan identitas crawlernya agar tetap bisa mengakses konten yang diblokir.Sebelumnya, Perplexity juga pernah tertangkap melewati paywall dan mengabaikan aturan teknis bernama robots.txt yang biasa digunakan pemilik situs untuk mengatur robot pencari agar tidak mengakses halaman tertentu. CEO Perplexity menuding aktivitas ini berasal dari crawler pihak ketiga, tapi laporan Cloudflare justru menunjukkan perusahaan itu sendiri yang melakukan praktik tersebut.Cloudflare melakukan pengujian dengan membuat domain yang melarang akses dari Perplexity dan memasang pengaturan firewall. Mereka menemukan Perplexity mulai akses dengan nama crawler resminya, tapi ketika dicekal, mereka mengganti user agent-nya menjadi seperti browser Google Chrome dan menggunakan IP yang berputar serta alamat jaringan berbeda agar terhindar dari deteksi.Setelah diungkap, Perplexity menyebut laporan Cloudflare sebagai ‘publisitas palsu’ dan menyatakan ada kesalahpahaman. Meski begitu, Cloudflare sudah menghapus Perplexity dari daftar bot resmi dan memasang teknologi baru untuk memblokir pendekatan crawling tanpa izin dari Perplexity.Cloudflare dan CEO-nya, Matthew Prince, juga sudah menginisiasi kebijakan baru yang meminta perusahaan AI harus membayar untuk mengakses konten melalui crawling sebagai upaya melindungi penerbit dan pembuat konten online agar kontennya tidak disalahgunakan tanpa izin oleh AI.
