Eine sehr umfangreiche Sammlung an Spidern und agents welche von Suchmaschinen, Webkatalogen und sonstigem losgeschickt werden...bietet euch die Seite www.psychedelix.com
Sicher eine gute Hilfe zum Erstellen einer wirksamen robots.txt.
Gruß
tbone.
Archiv
