Spidersammelsurium

Beitrag von **UweT** » 25.04.2003, 10:40

Eine sehr umfangreiche Sammlung an Spidern und agents welche von Suchmaschinen, Webkatalogen und sonstigem losgeschickt werden...bietet euch die Seite www.psychedelix.com

Sicher eine gute Hilfe zum Erstellen einer wirksamen robots.txt.

Gruß
tbone.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Webby** » 25.04.2003, 11:58

Wow, die ist umfangreich lol

Gute sache tboine wie immer. Vielleicht auch was für Blog

Beitrag von **Webby** » 25.04.2003, 13:53

Hier gibts auch eine echt gute Konsolidierte agent liste
https://www.jafsoft.com/searchengines/webbots.html