ROBOTS.TXT

Robots.txt adalah protokol yang telah ada lama yang memungkinkan penerbit untuk memberikan instruksi kepada perayap web tentang bagian situs yang dapat diakses. RSL Standard mengembangkan konsep ini dengan menambahkan ketentuan lisensi dan royalti.