TLDR
Perdebatan mengenai akses AI ke informasi publik semakin meningkat seiring dengan meningkatnya penggunaan agen AI. Cloudflare dan Perplexity memiliki pandangan yang berbeda tentang etika dan praktik crawling di web. Kegiatan bot, terutama dari model bahasa besar (LLM), dapat mengubah cara situs web berinteraksi dengan pengguna dan mempengaruhi lalu lintas serta pendapatan mereka. Cloudflare menuduh mesin pencari AI Perplexity mengakses situs web dengan menyamar sebagai browser biasa meskipun telah diblokir secara eksplisit lewat robots.txt. Tuduhan ini memunculkan perdebatan tentang bagaimana harus memperlakukan AI yang mengakses situs atas permintaan pengguna.Perplexity dan pendukungnya berargumen bahwa AI yang mengakses website atas permintaan pengguna harus dianggap seperti manusia yang mengeksplorasi web dengan browser mereka, bukan bot penyabot yang melakukan scraping tanpa izin.Cloudflare menekankan bahwa OpenAI mengikuti aturan dengan menjunjung tinggi robots.txt dan mendukung standar baru Web Bot Auth, yang dapat memberi tanda pengenal resmi pada permintaan AI agar tidak disalahartikan sebagai aktivitas berbahaya.Data dari Imperva menunjukkan bahwa bot kini menjadi mayoritas trafik internet, dengan AI traffic mencapai lebih dari 50%. Hal ini menciptakan tantangan baru bagi pemilik situs yang terus berusaha melindungi konten dan pendapatan mereka dari scraping yang merugikan.Debat ini menyoroti ketegangan antara kebutuhan pengguna agar AI dapat membantu mengakses informasi secara nyaman, dan hak pemilik situs dalam mengelola trafik serta menjaga model bisnis mereka. Masa depan interaksi AI di internet akan membutuhkan standar yang jelas dan keseimbangan kepentingan.
