ABAKUS

IP?
Noch nicht gesehen. Aber vorbereitet sein will.

IP war ebenfalls 'www.adressendeutschland.de' = 213.239.194.170

Danke! Kann zwar auf die Domain nicht zugreifen, aber ich glaub das brauch ma auch nicht.

Eines der schärfsten Dinger das mir je untergekommen ist war ja das Logspamming mit "Webverzeichnis.de - Telefon: 01908 / 26005" am Samstag. Natürlich nur die ODP-gelisteten Verzeichnisse.

Der Harvester rennt immer noch.

# www.adressendeutschland.de
iptables -A INPUT -p tcp -s 213.239.194.170 -j DROP

Hallo,
kommt adressendeutschland immer mit der gleichen IP?
Dann könnte man den ja per htaccess aussperren!

Außer Webverzeichnis gibt es dann ja auch noch thebestofnet unter den logfilespammern. Nervige Dinger.

Gruß
fool

die sammeln Daten für irgendein Verzeichnis von Firmen... braucht kein Mensch

also: wech damit ...

RewriteCond %{HTTP_USER_AGENT} ^.*adressendeutschland.*$
RewriteRule /* https://www.mvssolutions.com/spam.html [L,R]

@ blubb

das ist ja eine nette rewrite rule!
ist das deine homepage oder die von jemand anders?
ist nett gemacht.

Schönen Abend noch
fool

Hab jetzt auch nen Problem mit der "Schrottseite adressendeutschland". Seite ist gut, da kommt ja nicht mal drauf ! Allerdings sehr aktiv am sammeln.
@blubb da hast du aber eine schöne Lösung gefunden. Darf man sich die spam.html kopieren ?
Eine htaccess habe ich bereits. Wird dann noch eine zusätzliche erstellt oder das o.g. Beispiel zusätzlich in die bestehende hinzugefügt ?

Man kann keine zusätzliche erstellen.
Es muß in die vorhandene eingesetzt werden.

Vor drei Tagen war die Seite von adressendeutschland.de namens "konzept.html" noch im Google-Cache, inzwischen ist sie dort verschwunden. Aber manchmal hat archive.org auch sein Gutes, dort ist nämlich die Funktionsweise erklärt, die zu den massenhaften Seitenaufrufen in den Logs führt:

Der Robot arbeitet mit einer großen Datenbank der noch nicht besuchten URLs. Jede URL wird mit einer Prioritätszahl bewertet und einer Haupt DNS Domain zugeordnet. URLs, die am ehesten auf eine Impressumsseite schließen lassen, werden zuerst besucht. Wird eine Impressumsseite erkannt, so wird die Haupt DNS Domain als abgeschlossen betrachtet.

Wurde nach 200 Seitenabrufen keine Impressumsseite erkannt, so wird die Haupt DNS Domain aufgegeben, d.h. es werden niemals mehr als ca. 200 Seiten von jedem Server abgerufen.

Und später dann:

Adressmaterial wird nur veröffentlich werden, wenn es sich um Adressen von Firmen aus dem Handelsregister handelt.

Natürlich weiß unsere Datensammel-Software vor dem Abruf von Seiten nicht, was sie darin finden wird. Wenn eine Seite Verweise auf "Impressum.html" u. ä. enthält, sucht die Software dort natürlich zuerst, aber wenn keine Hinweise verfügbar sind, entsteht ein wahlloser Versuch die Impressumsseite in den "ersten" 200 Seiten zu finden. Daher werden dann u. U. auch Mailinglisten oder Gästebücher abgerufen.

Allerdings werden die dort gefundenen Daten mit den bereits bekannten Daten der Firmen aus dem Handelsregister verglichen und unbekannte Adressen – und damit auch alle privaten Daten - werden verworfen.

Wäre es dann nicht viel interessanter, die Jungs gleich auf eine Impressums-Seite umzuleiten, die einen maßgeschneiderten Inhalt bekommt? Wenn die Daten nicht nur maschinell ausgewertet werden, kann man den Betreibern auf diese Art und Weise ja seine Meinung mitteilen.

So ganz habe ich ja nicht verstanden, was mit "Haupt DNS Domain" gemeint ist, aber der Crawler ist ganz schön doof. Ich habe eine impressum.php, die von jeder Seite aus verlinkt ist, aber abgzugrasen versucht er nur ein Verzeichnis, das es nicht mehr gibt und wo er pausenlos 404 kassiert (und in der Fehlermeldungsseite ist übrigens auch wieder ein Link auf die impressum.php). Ins Wurzelverzeichnis scheint er überhaupt nicht zu wechseln, wo er ja spätestens funktionierende Seiten vorfinden würde.

a) impressum nicht "impressum" oder "imprint" nennen..
b) statt html text lieber ein bild rein

Da verstehe ich jetzt den Zusammenhang nicht ganz. Ja, dieser Bot sucht nach einem Imressum, aber

1. wie sollte man ein Impressum nennen, wenn man aus rechtlichen Gründen ein Impressum braucht, so daß es von einem durchschnittlichen Besucher als solches identifiziert werden kann?

2. ein Bild ist von normalen Besuchern nicht unbedingt lesbar, z.B. mit einem Textbrowser oder ausgeschalteten Bildern wäre man dumm dran.

3. wenn man nur den Bot hindern will, die Daten aus dem Impressum abzugleichen, kann man es über die IP tun, von der er kommt. Ist doch viel eleganter, wenn dadurch der normale Besucher nicht beeinträchtigt wird, oder?

3. wenn man nur den Bot hindern will, die Daten aus dem Impressum abzugleichen, kann man es über die IP tun, von der er kommt. Ist doch viel eleganter, wenn dadurch der normale Besucher nicht beeinträchtigt wird, oder?

Deshalb kommen die hartnäckigen Bots auch mit wechselnden IPs / UAs ...und aus die Maus.

Hier geht es doch aber nur um den einen, und der kommt anscheinend immer von derselben IP, auf der auch der Webserver selber läuft.