Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Warnung vor 217.71.160.33

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 20:57
Wohnort: Vèneto

Beitrag von bull » 11.04.2005, 21:35

User-agent: telnet0.1 noone@example.org

wollte spidern, aber die Kleinbuchstabenfalle war mal wieder effektiv 8)

Alles andere bitte selbst herausfinden!
z.B. mit https://<ip>

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Airport1
PostRank 10
PostRank 10
Beiträge: 4489
Registriert: 16.08.2004, 18:50
Wohnort: Backnang / bei Stuttgart

Beitrag von Airport1 » 11.04.2005, 22:31

Was meinst Du mit "Kleinbuchstabenfalle", hoert sich interessant an?

Heisst das, "nicht-genannte-aber-bekannte-Person" sammelt auf diese Weise MOEGLICHERWEISE Rezepte, also entfuehrt Content und stellt ihn dann mittels Dialer wiederum zur Verfuegung?
Linktauschanfragen zwecklos
https://www.bot-trap.de/ Spamschutz fuer Webmaster - zentrale Meldestelle fuer Web Spam
https://www.airport1.de/blog/ Lombagruschd Blog mid Gardadierle
https://www.ranking-hits.de/ Counter & PR Service

bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 20:57
Wohnort: Vèneto

Beitrag von bull » 12.04.2005, 06:15

Kleinbuchstabenfalle
Bis auf wenige Ausnahmen sind User-agents, die mit Kleibuchstaben beginnen, nicht legitim: https://www.abakus-internet-marketing.d ... rt-45.html (dritte von oben)

Was "nicht-genannte-aber-bekannte-Person" mit meinem Content machen würden, weiß ich nicht - ich weiß nur, daß mein Content da sicher nicht gut aufgehoben ist. :x

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Moddy
PostRank 8
PostRank 8
Beiträge: 771
Registriert: 08.09.2004, 11:16

Beitrag von Moddy » 12.04.2005, 13:20

Scheisse, der ist jeden Tag bei mir :bad-words:

Danke dir Bull, "kleinbustabenfalle" ist also?:

RewriteCond %{HTTP_USER_AGENT} ^[a-z0-9]+
RewriteCond %{HTTP_USER_AGENT} !^msnbot
RewriteCond %{HTTP_USER_AGENT} !^contype
RewriteCond %{HTTP_USER_AGENT} !^wwwster
RewriteCond %{HTTP_USER_AGENT} !^ia_archiver
RewriteCond %{HTTP_USER_AGENT} !^arianna\.libero

sean
PostRank 10
PostRank 10
Beiträge: 3396
Registriert: 05.01.2004, 20:26
Wohnort: Leipzig/Karlsruhe

Beitrag von sean » 12.04.2005, 15:51

Ist der jetzt für kostenlose Kochrezeptanbieter gefährlich oder für alle?

sean

bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 20:57
Wohnort: Vèneto

Beitrag von bull » 12.04.2005, 15:53

Ja, am besten in eigenen Abschnitt packen:

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^&#91;a-z0-9&#93;+
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^msnbot
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^ia_archiver
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^contype
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^googlebot\-urlconsole
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^wwwster
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^ia_archiver
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^arianna\.libero
RewriteCond %&#123;HTTP_USER_AGENT&#125; !^vlsearch 

RewriteRule ^.*$ - &#91;F&#93;
EDIT: aktuellere Fassung
Zuletzt geändert von bull am 12.04.2005, 16:08, insgesamt 1-mal geändert.

Moddy
PostRank 8
PostRank 8
Beiträge: 771
Registriert: 08.09.2004, 11:16

Beitrag von Moddy » 12.04.2005, 16:06

sean hat geschrieben:Ist der jetzt für kostenlose Kochrezeptanbieter gefährlich oder für alle?

sean
Ich bin kein kostenloser rezepte Anbieter und mir geht er auch auf'n Sack :lol:

@Bull

Vielen Dank :)

sean
PostRank 10
PostRank 10
Beiträge: 3396
Registriert: 05.01.2004, 20:26
Wohnort: Leipzig/Karlsruhe

Beitrag von sean » 12.04.2005, 16:34

OK, danke.

sean

warry
PostRank 5
PostRank 5
Beiträge: 304
Registriert: 24.06.2003, 16:36
Wohnort: Walbeck, Niederrhein, NRW

Beitrag von warry » 13.04.2005, 07:27

Sehr aktiv, die Rezept-Spezies.

Heute nacht auf mehreren Domains rund 5000 Seiten gezogen, das kann nur was Böses werden.

Jetzt sind sie jedenfalls draussen.

Greets
warry

mario
PostRank 10
PostRank 10
Beiträge: 3112
Registriert: 15.08.2003, 05:46

Beitrag von mario » 13.04.2005, 07:59

@bull

danke Bull für die Info. Es wäre sicher für alle die hier mitlesen interessant, wenn Du mal alle Ausschlussregeln die z.Z. wichtig sind, hier in einer aktuellen Liste posten könntest. Das würde sicher vielen dienen.
Was kann man bedenkenlos übernehmen? Alle folgenden, oder gibt es noch eine ganze Stange mehr? Habe mal versucht, Deine geposteten "Bösewichte" zusammenzufassen:

RewriteCond %{HTTP_USER_AGENT} ^[a-z0-9]+
RewriteCond %{HTTP_USER_AGENT} !^msnbot
RewriteCond %{HTTP_USER_AGENT} !^ia_archiver
RewriteCond %{HTTP_USER_AGENT} !^contype
RewriteCond %{HTTP_USER_AGENT} !^googlebot\-urlconsole
RewriteCond %{HTTP_USER_AGENT} !^wwwster
RewriteCond %{HTTP_USER_AGENT} !^ia_archiver
RewriteCond %{HTTP_USER_AGENT} !^arianna\.libero
RewriteCond %{HTTP_USER_AGENT} !^vlsearch
RewriteCond %{HTTP_USER_AGENT} ^Web [OR]
RewriteCond %{HTTP_USER_AGENT} ^HLoader [OR]
RewriteCond %{HTTP_USER_AGENT} Lite\ Bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Demo\ Bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Production\ Bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla\/3\.0\ \(compatible\) [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla\/4\.0\ \(compatible\) [OR]
RewriteCond %{HTTP_USER_AGENT} research [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Full\ Web\ Bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Franklin [OR]
RewriteCond %{HTTP_USER_AGENT} Extract [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MFC\ Foundation\ Class\ Library [OR]
RewriteCond %{HTTP_USER_AGENT} DTS\ Agent [OR]
RewriteCond %{HTTP_USER_AGENT} ^Industry\ Program [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mac\ Finder [OR]
RewriteCond %{HTTP_USER_AGENT} ^Program\ Shareware [OR]
RewriteCond %{HTTP_USER_AGENT} locator [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^[A-Z]Surf [OR]
RewriteCond %{HTTP_USER_AGENT} ^[A-Z]Browse [OR]
RewriteCond %{HTTP_USER_AGENT} ^WEP\ Search [OR]
RewriteCond %{HTTP_USER_AGENT} ^Missouri\ College [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTPLib [OR]
RewriteCond %{HTTP_USER_AGENT} Wavepluz [OR]
RewriteCond %{HTTP_USER_AGENT} ^Educate\ Search [OR]
RewriteRule ^.*$ - [F]

liebe Grüße
Mario

mario
PostRank 10
PostRank 10
Beiträge: 3112
Registriert: 15.08.2003, 05:46

Beitrag von mario » 13.04.2005, 14:39

Frage zu Terminologie:

habe mal meine htaccess verglichen mit obiger Liste, dabei ist mir aufgefallen, dass meine Liste viele Einträge hat, die nach dem backslash einen Leerschlag aufweisen. Wie interpretiert das System die beiden Varianten? Kann man die Leerschläge stehen lassen?

Beispiel:

^Educate\ Search [OR] (mit Leerschlag)
^Educate\Search [OR] ( ohne Leerschlag)

robo
PostRank 8
PostRank 8
Beiträge: 837
Registriert: 23.12.2003, 19:41
Wohnort: Schwangau

Beitrag von robo » 13.04.2005, 18:10

mario hat geschrieben:Frage zu Terminologie:

habe mal meine htaccess verglichen mit obiger Liste, dabei ist mir aufgefallen, dass meine Liste viele Einträge hat, die nach dem backslash einen Leerschlag aufweisen. Wie interpretiert das System die beiden Varianten? Kann man die Leerschläge stehen lassen?

Beispiel:

^Educate\ Search [OR] (mit Leerschlag)
^Educate\Search [OR] ( ohne Leerschlag)
Das erste Beispiel ist korrekt. Der Backslash dient dazu, das Leerzeichen zu escapen.

cu, Robo :)

mario
PostRank 10
PostRank 10
Beiträge: 3112
Registriert: 15.08.2003, 05:46

Beitrag von mario » 13.04.2005, 18:24

danke robo... habe mich etwas umgesehen, da gibt es eine Menge mit beiden Schreibvarianten.

Grüße
Mario

sean
PostRank 10
PostRank 10
Beiträge: 3396
Registriert: 05.01.2004, 20:26
Wohnort: Leipzig/Karlsruhe

Beitrag von sean » 13.04.2005, 21:17

was macht den der " [OR] " ?

Gruß

sean

mario
PostRank 10
PostRank 10
Beiträge: 3112
Registriert: 15.08.2003, 05:46

Beitrag von mario » 14.04.2005, 09:20

was gibt es gegen diese .htaccess zu motzen? Habe mal ein paar Spammer zusammengestellt. Falls ihr Fehler entdeckt, bitte melden. auch Ergänzungen sind willkommen... los schlagt drauf :D

htaccess-Vorschlag

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag