Kontroversi AI Perplexity Akses Situs Web: Bot atau Manusia?

Cloudflare menuduh mesin pencari AI Perplexity mengakses situs web dengan menyamar sebagai browser biasa meskipun telah diblokir secara eksplisit lewat robots.txt. Tuduhan ini memunculkan perdebatan tentang bagaimana harus memperlakukan AI yang mengakses situs atas permintaan pengguna. Perplexity dan pendukungnya berargumen bahwa AI yang mengakses website atas permintaan pengguna harus dianggap seperti manusia yang mengeksplorasi web dengan browser mereka, bukan bot penyabot yang melakukan scraping tanpa izin. Cloudflare menekankan bahwa OpenAI mengikuti aturan dengan menjunjung tinggi robots.txt dan mendukung standar baru Web Bot Auth, yang dapat memberi tanda pengenal resmi pada permintaan AI agar tidak disalahartikan sebagai aktivitas berbahaya. Data dari Imperva menunjukkan bahwa bot kini menjadi mayoritas trafik internet, dengan AI traffic mencapai lebih dari 50%. Hal ini menciptakan tantangan baru bagi pemilik situs yang terus berusaha melindungi konten dan pendapatan mereka dari scraping yang merugikan. Debat ini menyoroti ketegangan antara kebutuhan pengguna agar AI dapat membantu mengakses informasi secara nyaman, dan hak pemilik situs dalam mengelola trafik serta menjaga model bisnis mereka. Masa depan interaksi AI di internet akan membutuhkan standar yang jelas dan keseimbangan kepentingan.