Ottosuch.de oder wen interessiert robots.txt?

Beitrag von **thetrasher** » 28.04.2006, 20:47

Über die "Suchmaschine" Ottosuch.de wurde bereits früher diskutiert:
https://www.abakus-internet-marketing.d ... 26207.html
https://www.abakus-internet-marketing.d ... 81352.html

Entgegen https://www.ottosuch.de/faq.php#a8 hält sich der unbenannte Bot nicht an meine robots.txt. Wie auch, denn er liest robots.txt erst gar nicht.

Hier die Logauszüge:

85.25.130.56 - - [06/Apr/2006:**:**:** +0200] "GET / HTTP/1.0" 200 **** "-" "-"
85.25.130.56 - - [06/Apr/2006:**:**:** +0200] "GET / HTTP/1.0" 200 **** "-" "-"
85.25.130.56 - - [06/Apr/2006:**:**:** +0200] "GET / HTTP/1.0" 200 **** "-" "-"
85.25.130.56 - - [06/Apr/2006:**:**:** +0200] "GET / HTTP/1.0" 200 **** "-" "-"
85.25.130.56 - - [25/Apr/2006:**:**:** +0200] "GET / HTTP/1.1" 200 **** "https://www.ottosuch.de/index.php" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
85.25.130.56 - - [27/Apr/2006:**:**:** +0200] "GET / HTTP/1.1" 200 **** "https://www.ottosuch.de/index.php" "T-Online Browser"
85.25.130.56 - - [28/Apr/2006:**:**:** +0200] "GET / HTTP/1.1" 200 **** "https://www.ottosuch.de/index.php" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; de)"
85.25.130.56 - - [28/Apr/2006:**:**:** +0200] "GET / HTTP/1.1" 200 **** "https://www.ottosuch.de/index.php" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; de)"

Die vier Zugriffe am 6. April fanden zur selben Sekunde statt!
Man beachte den Einsatz von Refererspam und User-Agent-Fakes.

Auf dem Server 85.25.130.56 wird auch die Website dieser sich selbst ins Zwielicht rückenden "Suchmaschine" des Herrn Kambartel gehostet. Erstaunlich: User-Agent-Kennung wird immer wieder geändert (bzw. gefaked), aber den Servernamen kann der Herr nicht ändern?!

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **Hasso** » 28.04.2006, 21:39

Was hält Dich davon ab die IP-Adresse zu sperren, oder wird diese auch ständige geändert?

Grüsse
Hasso

Beitrag von **bull** » 28.04.2006, 22:35

Danke @thetrasher für die Hinweise.

Gruß
bull

von **Anzeige von ABAKUS** »

Beitrag von **thetrasher** » 28.04.2006, 23:04

Der Beitrag sollte nur als Info und zur Warnung vor einen nicht-konformen Fake-Bot dienen. Ich hatte nicht gefragt, wie man diesen oder einen anderen Bot aussperren kann!

Hasso hat geschrieben:Was hält Dich davon ab die IP-Adresse zu sperren, oder wird diese auch ständige geändert?

Die IP-Adresse dieses Bots ist fix, vorerst jedenfalls. Ich sehe aber auch Bots anderer (Pseudo-)Suchmaschinen, die beispielsweise über AliceDSL kommen. Es gibt eine Menge IPv4-Adressen. Wieviele davon sollen gesperrt werden? Wann sollen die Botadressen gesperrt werden - vor oder nach dem ersten Besuch? "deny from all" ist keine elegante Lösung!

Weswegen soll ich IP-Adressen sperren? Weil derartige Serverbetreiber ihre eigenen Bots nicht im Griff haben? Weil auf der Webseite behauptet wird, der Bot gehorche auf robots.txt, aber diese Datei gar nicht angerührt wird? Weil der Botbetreiber ganz offensichtlich unlautere Absichten hegt? Muss sich der unbescholtene Bürger einmauern, weil draussen Bösewichter ihre abgerichteten Kampfhunde frei herumlaufen lassen?

Beitrag von **Garfield** » 29.04.2006, 07:55

Der treibt sich auch auf jeder meiner Seiten und meinen Kundenseiten rum

Frage an die, die's wissen :

Wie sperrt man diesen Bot denn nun effektiv aus ?

Beitrag von **Kristian** » 29.04.2006, 08:25

Hallo
Wirklich lustig ist die Aufforderung alle Bots zu sperren, um diesen NoName-Bot loszuwerden.
Aber logisch ist es, wer keine Kennung hat muß mit dem Sternchen arbeiten.
SCNR Kristian

Beitrag von **thetrasher** » 30.04.2006, 01:19

Kristian hat geschrieben:Wirklich lustig ist die Aufforderung alle Bots zu sperren, um diesen NoName-Bot loszuwerden.
Aber logisch ist es, wer keine Kennung hat muß mit dem Sternchen arbeiten.

Egal was Du in die robots.txt schreibst - es nutzt nichts, denn dieser Blödbot liest die robots.txt nicht!

Info: Folgender User-Agent taucht auch auf:

85.25.130.56 - - [29/Apr/2006:**:**:** +0200] "GET / HTTP/1.1" 200 **** "https://www.ottosuch.de/index.php" "Mozilla/3.01 (compatible;)"

Ein Suchmaschinenbot mit der Kennung eines Spambots?!

Garfield hat geschrieben:Wie sperrt man diesen Bot denn nun effektiv aus ?

Nur über die IP funktioniert es. .htaccess-Eintrag für Einzel-IP-Sammler:

Code: Alles auswählen

deny from 85.25.130.56

Wer diesen Intergenia-Server-Block aussperren will:

Code: Alles auswählen

deny from 85.25.0.0/16

Der Botbetreiber und seine "Zufallssuchmaschine" sind in der Vergangenheit bereits negativ aufgefallen. Aufschlussreich ist die Googlesuche mit https://www.google.de/search?hl=de&q=ot ... uche&meta=.

Der Herr des getarnten Refererspambots versendete auch Mails an die aufgelesenen Mailadressen und drohte mit Abmahnung bei fehlendem oder nicht korrektem Impressum?!

https://www.antispam.de/forum/showthread.php?t=5843#10 hat geschrieben:Vielleicht sucht er ja nach Sites, die er abmahnen kann.

... oder sammelt(e) er vielleicht über seine Suchmaschineneintragmails doch nur aktive Mailadressen?

https://www.machm-it.de/print.php?sid=766 hat geschrieben:Zumindest ist das Versenden von Werbeemails nach keinem gegenwärtigen Gesetz verboten. (...) Wer seine Emailadresse auf seiner Webseite veröffentlicht, darf sich nicht wundern, wenn er dann auch mal Post bekommt.

Gesagt, getan? Der Botbetreiber bietet auch einen Werbemailversand an:

https://www.emailknecht.de/ hat geschrieben:Wie wäre es,...

wenn Sie 1.000.000 Werbemails verschicken könnten?

Solche Herren mit ihren Bots sollten nicht von jedem Websitebetreiber einzeln ausgesperrt werden müssen.

Beitrag von **Garfield** » 01.05.2006, 07:57

Herzlichen Dank

Beitrag von **pman** » 06.05.2006, 00:14

Der Bot gurkt seit Wochen auf meiner Indexdatei herum, fast immer mit einem anderen User-Agent. Es ist wohl nur eine Frage der Zeit bis er meine eMail im Impressum findet und mir mitteilen kann, dass ich in diese Sinnlos-Suchmaschine aufgenommen wurde. Außerdem Spamt er meine Besucherstatistik mit seinen Referrer-Links voll.

Sperrt die Lösung von thetrasher wirklich nur Bots von dem besagten Server, oder können damit eventuell auch normale Besucher ausgespert werden?

Ist es denn überhaupt rechtens, dass er Seiten spidert und die dortigen eMail-Adressen zur Verschicken von automatisierten eMails verwendet? Kann man dagegen nicht vorgehen?

Was der Herr Kambartel mit den ganzen eMail-Adressen vorhat, kann ich mir nur zu gut vorstellen, zumal er ja noch das oben genannte Downline-Projekt hat, mit dem er wohl auch an viele Adressen kommt. Das verschicken der Aufnahme eMail ist wohl nur eine Rechtfertigung für das Speichern und verwenden der Adressen. Ich denke mal nicht, dass er lt. Gesetzt dazu verpflichtet ist, Webmastern eine Aufnahmebestätigung zu schicken. Von Google und Co bekommt man ja auch keine Mails.

Dreist finde ich auch, dass man eine Mail erhält, wenn man auf Grund nicht gesetzter bzw. unzureichender Metatags nicht aufgenommen werden konnte und auch noch dazu aufgefordert wird, seine Metatags an die Vorlieben der Suchmaschine anzupassen.

Beitrag von **thetrasher** » 06.05.2006, 10:31

pman hat geschrieben:Sperrt die Lösung von thetrasher wirklich nur Bots von dem besagten Server, oder können damit eventuell auch normale Besucher ausgespert werden?

"deny from 85.25.130.56" sperrt wirklich nur diesen einen Server des Herrn Kambartel aus. Wie aus dem Whois ersichtlich, handelt es sich hier um einen dedizierten Server (Root-Server von Server4You).

Ein "deny from 85.25.0.0/16" sperrt nur alle Server aus diesem Serverblock. Welcher "normale" Besucher benutzt einen Server zum Surfen? Abgesehen von Benutzern anonymer (offener) Proxys kommen nur Bots von Serverfarmen. Glaub mir, über solche Server kommt kein einziger einladenswerter menschlicher Besucher - es sei denn Du betreibst eine Crackz-/Warez-Seite.

pman hat geschrieben:Ist es denn überhaupt rechtens, dass er Seiten spidert und die dortigen eMail-Adressen zur Verschicken von automatisierten eMails verwendet? Kann man dagegen nicht vorgehen?

Spammails? Gegen Spam kann man vorgehen durch Meldung an a) die Verbraucherzentrale und b) seinen Provider (hier: Server4You). Ob auch Refererspamming gemeldet werden kann, weiss ich nicht. Dieser Bot spidert übrigens nicht, sonst würde er laut ottosuch.de-FAQ die robots.txt lesen und beachten. Der Bot liest nur die Indexseite und hinterlässt Refererspam.

Wie Herr Kambartel allein durch das Abgreifen der Indexseite an Mailadressen kommen will, ist und bleibt mir ein Rätsel.

Versucht er vielleicht, mit Refererspam Besucher auf seine Suchmaschine zu locken? Hofft er auf (Mail-)Reaktionen von erbosten Webmastern (um an aktive Mailadressen zu kommen)?

Vielleicht will Herr Kambartel auf seine Seiten - speziell auf sein eigenartiges Impressum - aufmerksam machen? Wartet er sehnsüchtig auf eine Abmahnung durch einen konkurrierenden Suma-Betreiber?

pman hat geschrieben:Dreist finde ich auch, dass man eine Mail erhält, wenn man auf Grund nicht gesetzter bzw. unzureichender Metatags nicht aufgenommen werden konnte und auch noch dazu aufgefordert wird, seine Metatags an die Vorlieben der Suchmaschine anzupassen.

Er beklagte sich wahrscheinlich über Noindex-Metatags. Vielleicht wartet der Herr jetzt nur auf die Aussperrung und sendet dann eine Mail?

Was er drauf hat, zeigt Herr Kambartel auf der Seite über Otto I., Namensgeber des Projekts. Der Text stammt aus einer Seite der Landeshauptstadt Magdeburg. Er bekommt für diesen kopierten Text einen PR4, das Original hat PR0.

Beitrag von **pman** » 06.05.2006, 10:45

Dann werde ich den gleich mal aussperren...

Versucht er vielleicht, mit Refererspam Besucher auf seine Suchmaschine zu locken?

Davon gehe ich aus. Wie man oben rechts auf der Hauptseite erkennen kann, sind in der Regel immer über 500 Besucher online, gestern Abend sogar über 1000).
Ich weiß zwar nicht wie lange ein Besucher als Online gilt, aber irgendwo müssen die Besucher ja herkommen.
Freiwillig wird wohl kein User zurückkommen, bei der Suche kommen (bei mir) keine relevanten Ergebnisse bei raus.

In diversen Blogs und Foren geht es auch schon über dieses Thema, ist echt interessant was man da alles zu lesen bekommt