ia_archiver missachtet robots.txt

Obwohl der alexa-bot sich sonst an das Verbot in der robots.txt gehalten hat, versucht er nun munter auf die logfiles zuzugreifen:

209.237.238.235 - - [30/May/2006:03:57:43 +0200] "GET /logs/access.log.20.3 HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:58:01 +0200] "GET /logs/access.log.20.6 HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:58:14 +0200] "GET /logs/access.log.20.7 HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:58:26 +0200] "GET /logs/access.log.16.gz HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:58:45 +0200] "GET /logs/access.log.19.gz HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:58:59 +0200] "GET /logs/access.log.20.1.gz HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:59:12 +0200] "GET /logs/access.log.20.2.gz HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"

Hast du deine robots.txt-Syntax überprüft? Poste mal deine robots.txt.

Die robots.txt ist ok und seit langem nicht geändert. Bislang hat sich dieser bot auch daran gehalten. Die index wurde übrigens auch diesmal nicht gezogen, es war nur dieser Versuch an die logfiles zu kommen.

Zum Thema ia_archiver möchte ich mal was beitragen.

Gestern wurde meine komplette Datenbank geleert. Über ein ":oops: ungeschützten:oops: " Admin Backend. In meinen Logfiles kann ich es noch schön nachlesen, wie ia_archiver nach und nach alles schön löscht

Und da ich zu der selten dämlichen Sorte von Nichtsicherern gehöre, habe ich auch kein Backup der Daten. Lange Arbeit für nichts.

Ich habe zwar in der robot.txt diese Admin-Directory nicht expliziet verboten, aber alle anderen Verzeichnisse jeweils erlaubt. Damit scheine ich also einen Spider nicht fernzuhalten. Teure Erfahrung.

Wie kann ich denn verhindern, dass der nächste Spider sowas macht?
Ich kann das Adminpanel nämlich nicht schreibgeschützt machen

net(t)worker hat geschrieben:
ein ungeschützter Adminbereich???
Leg da ein verzeichnisschutz per .htaccess drauf.... es gibt genug spider die scheren sich einen Dreck um die robots.txt, und die würden dir auch dann die Webseite löschen...

Seit Stunden versuche ich per .htaccess dieses Verzeichnis zu schützen.
Habe auch eine sehr schöne Anleitung gefunden:
https://www.phpbb.de/doku/kb/artikel.php?artikel=5

Aber es geht nicht. Wenn ich die .htaccess im root ändere, wird meine komplette Seite geschützt. Wenn ich die .htaccess in das zu schützende Verzeichnis speichere, dann wird mir eine 404-Fehlermeldeung angezeigt.

Habe alles mehrfach auf Fehler kontrolliert.

Hast du vielleicht ein anderes Script/Anleitung?

Vielen Dank,

Mark