Pengembang open source sedang melawan crawler AI dengan kecerdikan dan dendam.
Courtesy of TechCrunch

Rangkuman Berita: Pengembang open source sedang melawan crawler AI dengan kecerdikan dan dendam.

TechCrunch
Dari TechCrunch
28 Maret 2025 pukul 06.27 WIB
48 dibaca
Share
Ikhtisar 15 Detik
  • Pengembang FOSS sangat terpengaruh oleh perilaku bot yang merusak.
  • Inovasi seperti Anubis dan Nepenthes menunjukkan kreativitas dalam menghadapi tantangan ini.
  • Perusahaan seperti Cloudflare berperan penting dalam menyediakan solusi untuk melindungi situs web dari bot yang merugikan.
Beberapa pengembang perangkat lunak, terutama yang bekerja dengan proyek sumber terbuka (FOSS), menghadapi masalah serius dengan bot AI yang mengganggu situs web mereka. Bot-bot ini sering kali tidak menghormati aturan yang ditetapkan dalam file robot.txt, yang seharusnya memberi tahu bot mana yang tidak boleh diakses. Salah satu pengembang, Xe Iaso, menciptakan alat bernama Anubis untuk melawan bot ini. Anubis bekerja dengan cara memeriksa apakah pengunjung adalah manusia atau bot sebelum mengizinkan akses ke server Git. Jika berhasil, pengunjung akan melihat gambar anime lucu, sementara bot akan ditolak.
Selain Anubis, beberapa pengembang lain juga mencoba cara kreatif untuk mengatasi masalah ini. Misalnya, ada yang menyarankan untuk mengisi halaman yang dilarang dengan konten yang tidak berguna agar bot tidak mendapatkan informasi yang mereka cari. Cloudflare, sebuah perusahaan besar, juga meluncurkan alat bernama AI Labyrinth yang bertujuan untuk membingungkan dan memperlambat bot yang tidak menghormati aturan. Meskipun banyak pengembang berusaha melawan bot dengan cara yang lucu dan cerdas, mereka juga berharap agar penggunaan teknologi AI yang bermasalah ini bisa dihentikan.

Pertanyaan Terkait

Q
Apa masalah utama yang dihadapi oleh pengembang FOSS terkait dengan bot?
A
Pengembang FOSS menghadapi masalah dengan bot yang tidak menghormati file robot.txt dan dapat menyebabkan DDoS pada situs mereka.
Q
Siapa yang menciptakan alat Anubis dan apa fungsinya?
A
Xe Iaso menciptakan alat Anubis yang berfungsi untuk memeriksa apakah permintaan web berasal dari manusia atau bot.
Q
Apa yang dilakukan oleh bot AmazonBot terhadap situs web Git?
A
Bot AmazonBot menyerang situs web Git dengan mengabaikan robot.txt dan menyebabkan gangguan yang signifikan.
Q
Apa tujuan dari alat Nepenthes yang diciptakan oleh Aaron?
A
Alat Nepenthes dirancang untuk menjebak crawler dalam labirin konten palsu agar tidak dapat mengakses informasi yang valid.
Q
Bagaimana Cloudflare berkontribusi dalam mengatasi masalah bot?
A
Cloudflare meluncurkan alat AI Labyrinth untuk memperlambat dan membingungkan bot yang tidak menghormati direktif 'no crawl'.

Rangkuman Berita Serupa

Seorang Asisten Kode AI Menolak Menulis Kode—dan Menyarankan Pengguna untuk Belajar Melakukannya Sendiri.Wired
Teknologi
1 bulan lalu
76 dibaca
Seorang Asisten Kode AI Menolak Menulis Kode—dan Menyarankan Pengguna untuk Belajar Melakukannya Sendiri.
Sebuah iklan lowongan kerja untuk startup Y Combinator Firecrawl mencari untuk merekrut seorang agen AI dengan gaji Rp 246.68 juta ($15K)  per tahun.TechCrunch
Bisnis
2 bulan lalu
72 dibaca
Sebuah iklan lowongan kerja untuk startup Y Combinator Firecrawl mencari untuk merekrut seorang agen AI dengan gaji Rp 246.68 juta ($15K) per tahun.
Minggu Ini dalam AI: Para miliarder berbicara tentang mengotomatisasi pekerjaan.TechCrunch
Teknologi
2 bulan lalu
53 dibaca
Minggu Ini dalam AI: Para miliarder berbicara tentang mengotomatisasi pekerjaan.
Cerita Berita Olahraga yang Anda Klik Mungkin Adalah Hasil AI yang Tidak BerkualitasWired
Teknologi
3 bulan lalu
109 dibaca
Cerita Berita Olahraga yang Anda Klik Mungkin Adalah Hasil AI yang Tidak Berkualitas
Bagaimana bot OpenAI menghancurkan situs web perusahaan tujuh orang ini 'seperti serangan DDoS'TechCrunch
Teknologi
3 bulan lalu
101 dibaca
Bagaimana bot OpenAI menghancurkan situs web perusahaan tujuh orang ini 'seperti serangan DDoS'
Bagaimana bot OpenAI menghancurkan situs web perusahaan tujuh orang ini 'seperti serangan DDoS'TechCrunch
Teknologi
3 bulan lalu
117 dibaca
Bagaimana bot OpenAI menghancurkan situs web perusahaan tujuh orang ini 'seperti serangan DDoS'