Crawler aussperren wegen traffic - aber welche?

[Nasirea]

Hi Forum,
mittlerweile komme ich auf sehr viel traffic durch Crawler, Bots, Backlinkchecker usw. usw. usw.

Natürlich möchte ich in so vielen Suchmaschinen wie möglich gut gelistet sein, aber der Traffic nimmt mittlerweile Ausmaße an, die ich eigentlich nicht mehr lustig finde (fast 4 Gig im Monat). Jetzt möchte ich die absolut sinnlosen Crawler (und vor allem Content-Klau-Bots, Email-Sniffer und Adress-Hunter) ausschließen über die robots.txt und ein eigenes Modul, dass je nach Agent oder IP ins Nirwana weiterleitet. Aber wie soll ich selektieren?

Hat jemand von euch eine Liste (oder Adresse) mit den schwarzen Schafen?


mfg

[Malte Landwehr]

Hier könntest du einige böse Buben finden: https://www.abakus-internet-marketing.de/robots.txt

[Nasirea]

ah ja, genau sowas habe ich gesucht...

danke

[willy]

Ich frage mich, wie Ihr die bots seht. Mein pphlogger zeigt mir nur echte Besucher an .

Weiterhin frage ich mich angesichts der robots.txt von abakus, ob nicht eine Positiv-Liste besser wäre - doch unter welchen Namen spidert z.B. google?

Grüße, Willy

[matin]

Ich frage mich, wie Ihr die bots seht. Mein pphlogger zeigt mir nur echte Besucher an .

entweder in den logfiles oder mit einem php-statistik tool (z. b. webreflow) o

[Hasso]

@Nasirea
Es lohnt sich u.A. folgende Threads durchzulesen:
https://www.abakus-internet-marketing.d ... 22936.html
https://www.abakus-internet-marketing.d ... 15802.html
https://www.abakus-internet-marketing.d ... 13681.html
https://www.abakus-internet-marketing.d ... t-985.html

Grüsse
Hasso

[AGB]

ich habe auf meiner website sehr viele pdf dateien, die aber nur aus bildern bildern bestehen, also keine indizierbaren texte enthalten.
wie kann ich die bots am besten daran hindern, diese pdfs zu saugen?

[Hasso]

@AGB
Für die Robots, die sich an die "robots.txt" - Datei halten wäre dies hier denkbar:

Code: Alles auswählen

User-agent: *
Disallow: /*.pdf$

oder lege die alle .pdf´s in einen extra Ordner z.B. "ordner1" und sperre diesen:

Code: Alles auswählen

User-agent: *
Disallow: /ordner1/

Für alle derjenigen Robots, die sich an die "robots.txt" - Datei nicht halten, helfen die Tipps aus den von mir oben erwähnten Threads (.htaccess - Lösungen)

Grüsse
Hasso