Crawler aussperren wegen traffic - aber welche?

Beitrag von **Nasirea** » 16.02.2006, 17:51

Hi Forum,
mittlerweile komme ich auf sehr viel traffic durch Crawler, Bots, Backlinkchecker usw. usw. usw.

Natürlich möchte ich in so vielen Suchmaschinen wie möglich gut gelistet sein, aber der Traffic nimmt mittlerweile Ausmaße an, die ich eigentlich nicht mehr lustig finde (fast 4 Gig im Monat). Jetzt möchte ich die absolut sinnlosen Crawler (und vor allem Content-Klau-Bots, Email-Sniffer und Adress-Hunter) ausschließen über die robots.txt und ein eigenes Modul, dass je nach Agent oder IP ins Nirwana weiterleitet. Aber wie soll ich selektieren?

Hat jemand von euch eine Liste (oder Adresse) mit den schwarzen Schafen?

mfg

von **Anzeige von ABAKUS** »

Beitrag von **Malte Landwehr** » 16.02.2006, 18:09

Hier könntest du einige böse Buben finden: https://www.abakus-internet-marketing.de/robots.txt

Beitrag von **Nasirea** » 16.02.2006, 18:51

ah ja, genau sowas habe ich gesucht...

danke

von **Anzeige von ABAKUS** »

Beitrag von **willy** » 17.02.2006, 22:35

Ich frage mich, wie Ihr die bots seht. Mein pphlogger zeigt mir nur echte Besucher an

.

Weiterhin frage ich mich angesichts der robots.txt von abakus, ob nicht eine Positiv-Liste besser wäre - doch unter welchen Namen spidert z.B. google?

Grüße, Willy

Beitrag von **matin** » 17.02.2006, 22:39

willy hat geschrieben:Ich frage mich, wie Ihr die bots seht. Mein pphlogger zeigt mir nur echte Besucher an .

entweder in den logfiles oder mit einem php-statistik tool (z. b. webreflow) o

Beitrag von **Hasso** » 17.02.2006, 23:42

@Nasirea
Es lohnt sich u.A. folgende Threads durchzulesen:
https://www.abakus-internet-marketing.d ... 22936.html
https://www.abakus-internet-marketing.d ... 15802.html
https://www.abakus-internet-marketing.d ... 13681.html
https://www.abakus-internet-marketing.d ... t-985.html

Grüsse
Hasso

Beitrag von **AGB** » 19.02.2006, 08:38

ich habe auf meiner website sehr viele pdf dateien, die aber nur aus bildern bildern bestehen, also keine indizierbaren texte enthalten.
wie kann ich die bots am besten daran hindern, diese pdfs zu saugen?

Beitrag von **Hasso** » 19.02.2006, 13:04

@AGB
Für die Robots, die sich an die "robots.txt" - Datei halten wäre dies hier denkbar:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /*.pdf$

oder lege die alle .pdf´s in einen extra Ordner z.B. "ordner1" und sperre diesen:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /ordner1/

Für alle derjenigen Robots, die sich an die "robots.txt" - Datei nicht halten, helfen die Tipps aus den von mir oben erwähnten Threads (.htaccess - Lösungen)

Grüsse
Hasso