Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Provider will Server sperren wegen eines Crawlers

Hier können Sie Ihre Fragen zum Thema Suchmaschinenoptimierung (SEO) / Positionierung stellen
Hasenhuf
PostRank 9
PostRank 9
Beiträge: 2840
Registriert: 26.12.2005, 22:22

Beitrag von Hasenhuf » 04.03.2011, 16:46

Staudi hat geschrieben:
Offensichtlich wird dieses Crawlen von der meldenden Partei als Belästigung empfunden.
Und morgen stört sich jemand am Muster deines Hemdes, na und? Wer nicht will, daß seine Seiten gelesen werden, der soll sie nicht ausliefern.
lois69 hat geschrieben:du musst aber die robots.txt berücksichtigen.
Sagt wer?

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

chris21
PostRank 9
PostRank 9
Beiträge: 2758
Registriert: 10.04.2005, 18:17

Beitrag von chris21 » 04.03.2011, 17:59

@everflux:

der cityreview bot stammt schon von sistrix, verfolge doch mal die ips / imprints/ whois daten...

Stadtleben
PostRank 1
PostRank 1
Beiträge: 8
Registriert: 05.03.2011, 15:00

Beitrag von Stadtleben » 05.03.2011, 18:26

Man was macht Ihr denn da einfach hinter den Loadbalancer von Amazon und Ihr könnt crawler bis ihr schwarz werdet...
Vergesst die Deutschen hoster. Noch besser in der GoogleCloud hosten und Crawlen ;-)

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag