Mengapa GPTBot Jadi Bot Paling Diblokir dan Apa Dampaknya ke Situs Web?

Setiap tahun, Cloudflare merilis laporan tentang kondisi internet, termasuk aktivitas bot yang kini menguasai lebih dari separuh lalu lintas internet, dengan manusia hanya menyumbang kurang dari 44%. GPTBot dari OpenAI, yang menjadi dasar ChatGPT, mengalami lonjakan penggunaan sangat tinggi, namun juga menjadi bot paling banyak diblokir oleh pemilik situs web karena mereka khawatir data mereka diambil tanpa imbal balik yang layak. Dalam laporan tersebut, Google menjadi peramban yang paling banyak diizinkan dan sekaligus memberi trafik besar ke situs-situs web. Microsoft Bing berada di posisi kedua. GPTBot sendiri ada di posisi ketiga dalam bot yang paling diizinkan, meskipun juga masuk daftar bot yang paling diblokir. Ini menunjukkan ketidaksesuaian sikap para pemilik situs tergantung pada tujuan mereka—apakah mereka ingin lebih terlihat atau justru melindungi konten mereka. Cloudflare juga membagikan metrik Crawl-to-Refer ratio yang menunjukkan jumlah kunjungan bot dibandingkan pengunjung manusia yang dikirim oleh layanan tersebut ke website. Mesin pencari tradisional seperti Google sangat unggul dalam mengembalikan traffic manusia. Sebaliknya, beberapa layanan AI seperti Anthropic Claude AI memberikan traffic balik yang sangat kecil, sehingga pemilik situs sulit mendapatkan manfaat dari crawler tersebut. Sikap para pemilik website beragam dalam menerima atau menolak akses crawler AI. Beberapa menggunakan robots.txt untuk memblokir akses crawler, meskipun kepatuhan terhadap aturan ini bersifat sukarela. Ada juga crawler seperti dari Perplexity yang disebut melanggar aturan ini dan tetap mengindeks situs tanpa izin, menimbulkan pertanyaan soal etika dan perlindungan data. Laporan Cloudflare juga menyoroti fakta lain seperti dominasi Cloudflare di jaringan internet dunia, namun tidak termasuk wilayah Tiongkok karena blokir firewall mereka. Catatan menarik lainnya adalah bahwa domain .christmas dinilai paling berbahaya terkait dengan spam dan email berbahaya, menjadi peringatan bagi pengguna internet selama musim liburan.