Googlebot in die Falle gegangen

Beitrag von **gemueswe** » 30.03.2007, 07:17

Hallo!

Ich habe gestern Testweise mal Spider-Trap installiert und es ist das passiert was ich beführchtet habe:

Neuer Spambot&#58; /spider-trap/index.php 29.03.2007|22.59.43
Host&#58; www.domain.de
IP&#58; 66.249.65.74
User-Agent&#58; Mozilla/5.0 &#40;compatible; Googlebot/2.1; +http&#58;//www.google.com/bot.html&#41;

WHOIS&#58; http&#58;//whois.domaintools.com/66.249.65.74

Ist das ein Bot von Google? wenn ja was kann ich dagegen tun?
Soll ich die IP's von Google in die Whitelist einpflegen?
Wenn ja gibt es soeine liste?

mfg
gemuese

von **Anzeige von ABAKUS** »

Beitrag von **SloMo** » 30.03.2007, 07:37

Ja, der ist von Google.

Wie sieht Deine robots.txt aus?

Für Dich wäre wahrscheinlich die www.bot-trap.de eine bessere Lösung. Auch gute Bots wie der Googlebot verirren sich gerne mal in eine Trap nach Spider-Trap-Bauart.

Beitrag von **gemueswe** » 30.03.2007, 07:47

Ich glaube ich weiß wo das Problem liegt!

Dieses dumme Webmastertool von Google hat die robots.txt nicht abgefragt! Zumindest sagt das Tool "Forbidden: 403"

Das lustige ist das er vor dem crawlen die robots.txt abgefragt hat! Ich werd mal den Link auf der Seite entfernen und Google erstmal die robots.txt auslesen lassen bevor ich die falle aufstelle!

Die robots.txt ist korrekt, wie beschrieben aufgebaut!

Ich werd mir mal den bot-trap anschauen.

gruß
gemuese

von **Anzeige von ABAKUS** »

Beitrag von **koboxumi** » 30.03.2007, 08:02

Da gibt es jetzt 2 Möglichkeiten:

1. du sagst wenn der eine Googlebot sich nicht an die robots.txt hält hat er gefälligst draußen zu bleiben.

wenn er sich nicht an die robots.txt hält, spider er ja auch die von dir gesperrten verzeichnisse, was wohl kaum in deinem Interesse ist.

2. du sagst mein Herr der Googlebot darf alles, ich hab keine Geheimnisse vor Ihm, dann

Allow from google.com

Beitrag von **Fox Mulder** » 30.03.2007, 08:12

Habe spider-trap seit Monaten auf mehreren Seiten laufen und nie hat sich Googlebot oder einer der anderen Bot's, die sich an die robots.txt halten, in der Falle verirrt.
Ich wette einen 6er Backlink das Problem liegt in Deiner Installation. Poste mal die robots.txt um der Sache auf den Grund zu gehen.
Gruss

Beitrag von **SloMo** » 30.03.2007, 08:24

Fox Mulder hat geschrieben:Habe spider-trap seit Monaten auf mehreren Seiten laufen und nie hat sich Googlebot oder einer der anderen Bot's, die sich an die robots.txt halten, in der Falle verirrt.
Ich wette einen 6er Backlink das Problem liegt in Deiner Installation. Poste mal die robots.txt um der Sache auf den Grund zu gehen.
Gruss

Her mit dem 6er! Ich habe auch jahrelang so eine Trap ohne Probleme eingesetzt, bis dann plötzlich ein Googlebot von einer Google-IP in die Falle ging. Trotz unveränderter robots.txt.

Manchmal gehen auch Googlebots oder Googlemitarbeiter mit normalem Browser-Useragent in so eine Falle, die kommen dann von einer Google-IP, die damit ab sofort gesperrt ist.

Viel Glück!

Beitrag von **Hobby-SEO** » 30.03.2007, 11:08

Auch wenn Google in die Falle gehen sollte, wird er nicht gesperrt - dafür gibt es bei Spider Trap ja die Whitelist.

Beitrag von **SloMo** » 30.03.2007, 12:01

Ja, eine User-Agent Whitelist. Die Spammer kommen ganz sicher nicht so schnell auf die Idee, den gleichen User-Agent wie Google zu benutzen!

Ganz abgesehen davon, dass der Googlebot auch mal inkognito kommt.

Ich will das Ding ja nicht schlecht reden. Aber es hilft nunmal gegen Spam so viel, wie ein Taschentuch vorm Mund gegen Giftgas. Allerdings kann es gelegentlich den Traffic reduzieren, weil nicht jeder kleine Hobbyhacker mit seinem Bot die ganze Site runterladen kann.

Beitrag von **JR-EWING** » 04.04.2007, 19:05

das beste Beispiel ist doch die Seite selber.... die wäre schon lange aus dem Index wenn die Googlebots ausgesperrt würden. Bei mir steht nicht googlebot auf der Whitelist.

@slomo

Aber es hilft nunmal gegen Spam so viel, wie ein Taschentuch vorm Mund gegen Giftgas.

Hätte man auch anders formulieren können. Ich hab auch auf der Startseite geschrieben dass es nicht 100% hilft aber es ist nunmal ein Mittel um einiges auszusperren. Klar wird es immer wieder Tricks geben die Falle auszutricksen.

Aber bau du halt das Allerweltsmittel - ich wäre auch froh drüber.

Beitrag von ts » 04.04.2007, 19:54

SloMo hat geschrieben: Manchmal gehen auch Googlebots oder Googlemitarbeiter mit normalem Browser-Useragent in so eine Falle, die kommen dann von einer Google-IP, die damit ab sofort gesperrt ist.

So viele sind es nicht die in die Falle gehen und die kann man noch kontrollieren. Einmal falsch geblockt ist kein Problem. Das ein Googlemitarbeiter das Transparente gif sucht um drauf zu klicken mag ich nicht so recht glauben. Auf jeden besser als festzustellen, dass die Seite gerippt wurde und dann die IP sperrt.

Beitrag von **t-rex** » 04.04.2007, 20:02

Och kinners warum denn gleich so verschnupft reagieren

Es gibt in der Tat kein Allheilmittel. Genauso wenig gibt es DAS Erfolgsrezept, um täglich 1 Mio zu verdienen.

Wie bei allem ist es auch bei der Spamabwehr notwendig, mehrere Techniken einzusetzen. Denn es gibt nun mal nicht DIE Liste wo alle Guten und alle Bösen Buben drauf stehen. Zumal man nicht alles nach schwarz oder weiss einteilen kann.

Wenn denn Spider-Trap eine IP Whitelist hat, dann könnten doch mal alle zusammen legen, und eine Liste ALLER bekanten guten IPs erstellen.

Diese Whitelist könnte dann in das Downloadpaket von Spider-Trap fest integriert werden, und schon wäre das Googlebot Problem vom Tisch.

Dann noch eine UA Blacklist zusammentragen und genau gleich in Spider Trap integrieren.

Die Bot-Suppe, die zwischen guter IP und bösem Useragent noch übrig bleibt ist dann schon kleiner und kann weiter analysiert werden.

Und wenn ich schon dabei bin

Ich habe bei meinem Forendienst auf Counter-Service Bot-Trap installiert. Das hat mein Spampensum von 5000 Spampostings pro Stunde auf Anhieb auf 1200 pro Stunde reduziert.

Eine weitere selbst entwickelte Lösung hat dann auch die restlichen Spampostings eliminiert und so habe ich es geschafft den Forendienst innerhalb von einer Woche spamfrei zu bekommen.

Wenn auch meine eigene Entwicklung das Sahnehäubchen war, so würde ich nie hingehen, und Bot Trap entfernen und mich ganz alleine auf meine Lösung verlassen.

Und ich denke, so wie ich Spider Trap und auch Bot Trap kenne, dass die zwei zusammen schon eine super Lösung wären.

Sorry! Bin wie immer ein bisschen abschweift

sonnige Grüsse
HaPe

Beitrag von **koboxumi** » 04.04.2007, 20:08

[quote]Das ein Googlemitarbeiter das Transparente gif sucht um drauf zu klicken mag ich nicht so recht glauben.[quote]

Und selbst wenn es ihm gelungen ist das mini gif zu treffen kann er sich entsperren. in der robots.txt steht nicht erlaubt, das gilt auch für G. Wer sich nicht daran hält beibt draußen. Wäre ja auch bescheuert google gesperrte bereich zu erlauben und dann von Google wegen DC abgerankt zu werden. Wenn ich geheimnisse vor Google habe hat das seinen Grund.

Beitrag von **SloMo** » 04.04.2007, 20:51

ts hat geschrieben:So viele sind es nicht die in die Falle gehen und die kann man noch kontrollieren.

Eben, da geht doch eh keiner rein, der einem ernsthaft gefährlich werden könnte. Steht ja groß und breit in der robots.txt, dass man das nicht darf. Die Polizei stellt auch keine Warnschilder vor ihren Radarfallen auf...

Beitrag von ts » 04.04.2007, 22:06

SloMo hat geschrieben:
ts hat geschrieben:So viele sind es nicht die in die Falle gehen und die kann man noch kontrollieren.
Eben, da geht doch eh keiner rein, der einem ernsthaft gefährlich werden könnte. Steht ja groß und breit in der robots.txt, dass man das nicht darf. Die Polizei stellt auch keine Warnschilder vor ihren Radarfallen auf...

Erzähl das mal denen, die sich dort verirren. Es sind auf jeden Fall noch genug, dass sich der Einsatz lohnt. Und wie gesagt man agiert und reagiert nicht.

koboxumi hat geschrieben:Wäre ja auch bescheuert google gesperrte bereich zu erlauben und dann von Google wegen DC abgerankt zu werden. Wenn ich geheimnisse vor Google habe hat das seinen Grund.

Du glaubst doch nicht wirklich, dass der von der robots.txt gesperrte Bereich geheim ist oder?

Beitrag von **SloMo** » 05.04.2007, 06:28

ts hat geschrieben:
SloMo hat geschrieben:Eben, da geht doch eh keiner rein, der einem ernsthaft gefährlich werden könnte. Steht ja groß und breit in der robots.txt, dass man das nicht darf. Die Polizei stellt auch keine Warnschilder vor ihren Radarfallen auf...
Erzähl das mal denen, die sich dort verirren. Es sind auf jeden Fall noch genug, dass sich der Einsatz lohnt. Und wie gesagt man agiert und reagiert nicht.

Woran machst Du fest, dass es "genug" sind, damit sich der Einsatz "lohnt"? Lohnt sich der Einsatz eines Virenscanners, wenn er 5% aller Viren erkennt? Wohl kaum... dann kann man es gleich bleiben lassen. Wie hoch schätzt Du die Trefferquote der Spider-Trap momentan ein? Mehr als 5%? Dann wünsche ich frohes Weiterträumen. Ist nicht böse gemeint.