Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

"Das Ende der SEO-Tools"

Suchmaschinenmarketing bzw. Suchmaschinenoptimierung Infos und News
Barthel
PostRank 9
PostRank 9
Beiträge: 1578
Registriert: 13.10.2010, 21:18

Beitrag von Barthel » 12.12.2012, 18:04

Expirado hat geschrieben: Sistrix hält sich an den robots.txt-Standard. Im User-Agent-String wird bei jeder Anfrage eine URL übermittelt, unter der weitere Informationen zum Ausschluss enthalten sind.
Ich wollte damit nicht sagen, dass sich Sistrix irgendwie "böse" verhält, sondern dass es hier Webmaster gibt, die Sistrix und andere gezielt aussperren, weil sie ihnen zu viele Ressourcen verbrauchen. Wir brauchen uns hier auch nicht zu streiten, wie viel "zu viel" ist, manche wollen einfach nicht von jedem gespidert werden, der so einen Bot bauen kann. Es gibt also keinen Grund, hier wieder auf Google einzudreschen.