neue böse Bots

Beitrag von **costa_es** » 07.07.2005, 08:49

Hallo Forum, lese über längere Zeit "nur mit" wolllte aber zu dieser äußerst lästigen Problematik der Contentgrabber auch mal meinen Beitrag leisten !

Folgende Bots sind mir in letzter Zeit extrem unangenehmen aufgefallen:

InsurancoBot

router.chertan.ru
Bot kommt als gefälschter Googlebot etc. anscheinend irgendein russisches Sammelprojekt - ausperren mit
<LIMIT GET POST>
order deny,allow
deny from router.chertan.ru
</LIMIT>

Mozilla/4.0 (compatible; grub-client-0.3.0; Crawl your own stuff with https://grub.org)
In diversen Varianten und saugt was das zeughält . Wollte ihn ausperren mit:
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/4.0\ (compatible;\ grub- [OR]
kriege dann ber nen 500´er vielleicht weiss jemand wo mein Fehler liegt ?

ichiro
japanischer Sammler

lwp-request

Ziemlich lästiges Thema dem ich mittlerweile 1-2 Stunden am Tag

widmen muss - ziehe es jetzt mal in Betracht gegen Content Grabber rechtlich vorzugehen (die greifbar in DE sind) ....

von **Anzeige von ABAKUS** »

Beitrag von **Chris2005** » 07.07.2005, 22:10

Folgendes Ungeziefer hat sich heute Nacht verfangen (nachdem es die letzten Wochen relativ ruhig war).

194.213.194.201 - - [07/Jul/2005:06:07:22 +0200] "GET /robots.txt HTTP/1.1" 403 - "-" "ccubee/3.1"
194.213.194.201 - - [07/Jul/2005:06:07:23 +0200] "GET / HTTP/1.1" 403 - "-" "ccubee/3.1"

217.174.103.133 - - [07/Jul/2005:03:33:02 +0200] "HEAD / HTTP/1.0" 403 - "-" "eStyleSearch 4 (compatible; MSIE 6.0; Windows NT 5.0)"

139.18.2.81 - - [07/Jul/2005:15:51:34 +0200] "GET /robots.txt HTTP/1.1" 403 - "-" "findlinks/0.939 (+https://wortschatz.uni-leipzig.de/findlinks/)"

Über den letzten Bot kann man streiten. Diese FindLinks-Geschichte hat wohl irgendwas mit NextLinks zu tun. Ist wohl ein Projekt der Uni Leipzig.

Über ccube ist im Netz nix zu finden. E-Search ist ein russisches Projekt.

@costa-es

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; grub &#91;NC&#93;
RewriteRule ^.*$ - &#91;F,L&#93;

sollte alles vor die Tür setzen, das grup im UA hat.

Beitrag von **txa** » 08.07.2005, 20:56

habe zu ccubee diese angabe gefunden: Server Hosting(Praha) GTS Czech a.s.

von **Anzeige von ABAKUS** »

Beitrag von **Joey** » 08.07.2005, 21:08

der Insurancobot gehört natürlich zu einer dieser Suchseiten.
(die uns in ähnlicher Form und Menge bereits von Hyro alias Jörg Dudzinski bekannt sind!)

siehe auch: https://www.fehnseher-test.com

Beitrag von **costa_es** » 09.07.2005, 12:02

der Insurancobot gehört natürlich zu einer dieser Suchseiten.

Habe mal diesbezüglich ein bissl nachgeforscht und herausgefunden auf welchem Script der Mist beruht - wird u.a. auch bei ebay zu Kauf angeboten und nennt sich u.a. "Active Doorway System" - die Dinger sprießen wie Pilze aus dem Boden und verschaffen anderen Domains Probleme u.a. mit Duplicate Content

Siehe hier:
https://www.google.de/search?hl=de&rls= ... ipte&meta=

Haben im Header immer den Begriff Doorwayscripte mit Link auf den Shop - ergibt satte 12.600 Suchergebnisse bei google

neue Blutsauger:
curl/7.10.7

contype

NWSpider

JoeDog

Beitrag von **Chris2005** » 09.07.2005, 12:27

Google scheint das aber zu raffen... bei 16 v. 12800 Suchergebnissen ist Schluss... Verweis auf "Um Ihnen nur die treffendsten Ergebnisse anzuzeigen, wurden einige Einträge ausgelassen, die den 16 bereits angezeigten Treffern sehr ähnlich sind. Sie können bei Bedarf die Suche unter Einbeziehung der übersprungenen Ergebnisse wiederholen."

Ist aber trotzdem übel. Da lassen die nen Crawler durchs Netz ziehen um sich content zu besorgen, der dann in diesen Spamkatalogen aufgelistet wird.

Beitrag von **Ice Man** » 10.07.2005, 10:21

Hab auch paar gefunden:

bushsniffer
Gigabot/2.0

und mal wieder findlinks.

Kann mir mal bitte jemand den .htaccess Snipsel geben um Findlinks endgültig zu sperren ?

Beitrag von **Wally** » 10.07.2005, 10:36

Was macht der "findlinks"?

Der tobt bei mir auch ständig.....

Beitrag von **Ice Man** » 10.07.2005, 11:09

Und noch ein paar.

Der hier klingt komisch "caramel" ?
Das ist doch sicher ne Fake kennung oder ?

Y!OASIS/TEST no-ad Mozilla/4.08 [en] (X11; I; FreeBSD 2.2.8-STABLE i386)

Was immer das sein Mag

Findlinks ist irgendne Sume in der Betaphase, aber mehr steht nicht auf deren Seite

https://wortschatz.uni-leipzig.de/findlinks/

Beitrag von **Chris2005** » 10.07.2005, 11:50

Ice Man hat geschrieben:Hab auch paar gefunden:

bushsniffer
Gigabot/2.0

und mal wieder findlinks.

Kann mir mal bitte jemand den .htaccess Snipsel geben um Findlinks endgültig zu sperren ?

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^&#91;a-z0-9&#93;+
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^msnbot
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^ia_archiver
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^contype
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^googlebot\-urlconsole
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^ia_archiver
RewriteRule ^.*$ - &#91;F,L&#93;

Wenn Du noch mehr Regeln in der .htaccess hast, dann diesen Block als letztes nutzen.

Setzt alles was mit kleinbuchstaben anfängt (bis auf die Ausnahmen mit dem !) vor die Tür. Wirkt sehr zuverlässig

Über Gigabot lässt sich streiten. Guck Dir das Teil mal an. Macht auf mich einen guten Eindruck und die Qualität der SERPs war auch gar nicht mal so schlecht.

FindLinks geht wohl irgendwie in die Ecke von "search related". Aber genau habe ich auch nicht verstanden was die wollen.

Beitrag von **Ice Man** » 10.07.2005, 15:00

@ Chris2005

Danke, aber das wäre mir zu heiß, wer weiß, was soll alles noch geblockt wird.

Ich will nur Findlinks hinzufügem zu meiner kleinen Liste

Beitrag von **Chris2005** » 10.07.2005, 16:39

Guck mal hier. Da schwirrt jede Menge Ungeziefer rum... mit so einer "lower case" Falle fängt man schon viel ab.

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^findlinks &#91;NC&#93;
RewriteRule ^.*$ - &#91;F,L&#93;

falls Du schon andere RewriteConds hast:

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^findlinks &#91;OR,NC&#93;

Testen kannst Du das mit dem unter www.wannabrowser.com .

Gruss
Chris

Beitrag von **hyro** » 12.07.2005, 11:14

hallo Joey,

ich bitte dich hiermit dein posting

"der Insurancobot gehört natürlich zu einer dieser Suchseiten.
(die uns in ähnlicher Form und Menge bereits von Hyro alias Jörg Dudzinski bekannt sind!)

siehe auch: https://www.fehnseher-test.com"

unter der url https://abakus-internet-marketing.de/fo ... 15802.html

zu entfernen, da es nicht der wahrheit entspricht.
inhaber der seite ist, wie unschwehr zu erkennen ist (impressum) christian wagner welcher nichts auch nur im entferntesten zu tun hat. auch sein bot hat nichts mit mit zu tun.

Beitrag von **SloMo** » 12.07.2005, 11:25

*lol* dass es es für sowas Trittbrettfahrer gibt... die Welt ist schlecht!

Beitrag von **robo** » 12.07.2005, 12:06

Hyro:

Jetzt übertreibst du aber. Ich lese aus Joeys Ausführungen, dass Christian Wagners Seiten deinen ähnlich sind, nichts anderes. Und das lässt sich wohl kaum abstreiten.

cu, Robo