Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Provider will Server sperren wegen eines Crawlers

Hier können Sie Ihre Fragen zum Thema Suchmaschinenoptimierung (SEO) / Positionierung stellen
Hasenhuf
PostRank 9
PostRank 9
Beiträge: 2840
Registriert: 26.12.2005, 22:22

Beitrag von Hasenhuf » 04.03.2011, 16:46

Staudi hat geschrieben:
Offensichtlich wird dieses Crawlen von der meldenden Partei als Belästigung empfunden.
Und morgen stört sich jemand am Muster deines Hemdes, na und? Wer nicht will, daß seine Seiten gelesen werden, der soll sie nicht ausliefern.
lois69 hat geschrieben:du musst aber die robots.txt berücksichtigen.
Sagt wer?