Seite 1 von 1

Content Klau / Bot's aussperren - Hinweise

Verfasst: 04.05.2005, 10:53
von Luki
Hi,

da ich hier .htaccess Lösungen sehe um Bots auszusperren, habe ich mal ein bisschen recherchiert:

Seiten wie:
h**p://www.searchi kus.de/intern_delsite.htm (@Mods bitte nicht entfernen, gehört auch nicht Jörg D.)

spidern fleissig und versprechen die robots.txt zu akzeptieren und das machen die glaube ich auch:

ich habe mal meine Logs nach den gespiderten Seiten überprüft und siehe da folgender Bot war da:

- allerdings als Googlebot getarnt (ist allerdings kein Googlebot)
- hat die robots.txt vorher überprüft

83.246.77.252 - - [22/Mar/2005:15:36:50 +0100] "GET /robots.txt HTTP/1.0" 200 371 "-" "Googlebot/2.1(+https://www.google.com/bot.html)"
83.246.77.252 - - [22/Mar/2005:15:37:50 +0100] "GET /meineseite?hat=copyright HTTP/1.0" 200 32140"-" "Googlebot/2.1(+https://www.google.com/bot.html)"

also lieber IP Adressen sammeln und diese sperren.

Verfasst:
von
Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Content Klau / Bot

Verfasst: 04.05.2005, 11:31
von bull
Siehe auch:
https://www.abakus-internet-marketing.d ... 12606.html
und
https://www.abakus-internet-marketing.d ... 11793.html

Am besten immer gleich den ganzen IP-Bereich sperren, sofern es ein Hoster ist.

Content Klau / Bot

Verfasst: 04.05.2005, 11:32
von Luki
wie bekommst Du den IP Range eines Hosters raus?

Verfasst:
von

Content Klau / Bot

Verfasst: 04.05.2005, 11:36
von bull
Gehst Du zu ripe.net und gibst die IP in das Whois-Feld rechts ein.
Gibt er 83.246.73.0 - 83.246.73.255 aus.