ABAKUS

Verfasst: **16.02.2006, 17:51**

Hi Forum,
mittlerweile komme ich auf sehr viel traffic durch Crawler, Bots, Backlinkchecker usw. usw. usw.

Natürlich möchte ich in so vielen Suchmaschinen wie möglich gut gelistet sein, aber der Traffic nimmt mittlerweile Ausmaße an, die ich eigentlich nicht mehr lustig finde (fast 4 Gig im Monat). Jetzt möchte ich die absolut sinnlosen Crawler (und vor allem Content-Klau-Bots, Email-Sniffer und Adress-Hunter) ausschließen über die robots.txt und ein eigenes Modul, dass je nach Agent oder IP ins Nirwana weiterleitet. Aber wie soll ich selektieren?

Hat jemand von euch eine Liste (oder Adresse) mit den schwarzen Schafen?

mfg

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Verfasst: **16.02.2006, 18:09**

Hier könntest du einige böse Buben finden: https://www.abakus-internet-marketing.de/robots.txt

Verfasst: **16.02.2006, 18:51**

ah ja, genau sowas habe ich gesucht...

danke

Verfasst: **17.02.2006, 22:35**

Ich frage mich, wie Ihr die bots seht. Mein pphlogger zeigt mir nur echte Besucher an

.

Weiterhin frage ich mich angesichts der robots.txt von abakus, ob nicht eine Positiv-Liste besser wäre - doch unter welchen Namen spidert z.B. google?

Grüße, Willy

Verfasst: **17.02.2006, 22:39**

willy hat geschrieben:Ich frage mich, wie Ihr die bots seht. Mein pphlogger zeigt mir nur echte Besucher an .

entweder in den logfiles oder mit einem php-statistik tool (z. b. webreflow) o

Verfasst: **17.02.2006, 23:42**

@Nasirea
Es lohnt sich u.A. folgende Threads durchzulesen:
https://www.abakus-internet-marketing.d ... 22936.html
https://www.abakus-internet-marketing.d ... 15802.html
https://www.abakus-internet-marketing.d ... 13681.html
https://www.abakus-internet-marketing.d ... t-985.html

Grüsse
Hasso

Verfasst: **19.02.2006, 08:38**

ich habe auf meiner website sehr viele pdf dateien, die aber nur aus bildern bildern bestehen, also keine indizierbaren texte enthalten.
wie kann ich die bots am besten daran hindern, diese pdfs zu saugen?

Verfasst: **19.02.2006, 13:04**

@AGB
Für die Robots, die sich an die "robots.txt" - Datei halten wäre dies hier denkbar:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /*.pdf$

oder lege die alle .pdf´s in einen extra Ordner z.B. "ordner1" und sperre diesen:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /ordner1/

Für alle derjenigen Robots, die sich an die "robots.txt" - Datei nicht halten, helfen die Tipps aus den von mir oben erwähnten Threads (.htaccess - Lösungen)

Grüsse
Hasso

ABAKUS

Crawler aussperren wegen traffic - aber welche?

Crawler aussperren wegen traffic - aber welche?

Crawler aussperren wegen traffic - aber welche?

Böse Buben

Crawler aussperren wegen traffic - aber welche?

Crawler aussperren wegen traffic - aber welche?

Re: Crawler aussperren wegen traffic - aber welche?