ia_archiver missachtet robots.txt

Beitrag von **luigip** » 30.05.2006, 14:38

Obwohl der alexa-bot sich sonst an das Verbot in der robots.txt gehalten hat, versucht er nun munter auf die logfiles zuzugreifen:

209.237.238.235 - - [30/May/2006:03:57:43 +0200] "GET /logs/access.log.20.3 HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:58:01 +0200] "GET /logs/access.log.20.6 HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:58:14 +0200] "GET /logs/access.log.20.7 HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:58:26 +0200] "GET /logs/access.log.16.gz HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:58:45 +0200] "GET /logs/access.log.19.gz HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:58:59 +0200] "GET /logs/access.log.20.1.gz HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"
209.237.238.235 - - [30/May/2006:03:59:12 +0200] "GET /logs/access.log.20.2.gz HTTP/1.0" 401 2193 domain.de "-" "ia_archiver" "-"

von **Anzeige von ABAKUS** »

Beitrag von **Christophe** » 30.05.2006, 15:50

Hast du deine robots.txt-Syntax überprüft? Poste mal deine robots.txt.

Beitrag von **luigip** » 30.05.2006, 17:55

Die robots.txt ist ok und seit langem nicht geändert. Bislang hat sich dieser bot auch daran gehalten. Die index wurde übrigens auch diesmal nicht gezogen, es war nur dieser Versuch an die logfiles zu kommen.

Beitrag von **Mark.S** » 19.06.2006, 21:08

Zum Thema ia_archiver möchte ich mal was beitragen.

Gestern wurde meine komplette Datenbank geleert. Über ein ":oops: ungeschützten:oops: " Admin Backend. In meinen Logfiles kann ich es noch schön nachlesen, wie ia_archiver nach und nach alles schön löscht

Und da ich zu der selten dämlichen Sorte von Nichtsicherern gehöre, habe ich auch kein Backup der Daten. Lange Arbeit für nichts.

Ich habe zwar in der robot.txt diese Admin-Directory nicht expliziet verboten, aber alle anderen Verzeichnisse jeweils erlaubt. Damit scheine ich also einen Spider nicht fernzuhalten. Teure Erfahrung.

Wie kann ich denn verhindern, dass der nächste Spider sowas macht?
Ich kann das Adminpanel nämlich nicht schreibgeschützt machen

Beitrag von **Anonymous** » 19.06.2006, 21:19

Mark.S hat geschrieben: Ich habe zwar in der robot.txt diese Admin-Directory nicht expliziet verboten, aber alle anderen Verzeichnisse jeweils erlaubt. Damit scheine ich also einen Spider nicht fernzuhalten. Teure Erfahrung.

Wie kann ich denn verhindern, dass der nächste Spider sowas macht?
Ich kann das Adminpanel nämlich nicht schreibgeschützt machen

bei der robots.txt gilt: was nicht verboten ist, ist erlaubt.....

das "allow" ist nur dazu gedacht, wenn du in einem gesperrten Unterverzeichnis doch noch etwas, z.B. eine html seite, erlauben möchtest...
"allow" ist aber auch nicht im offiziellen Standard enthalten...

also den Adminbereich in der robots.txt sperren....

ein ungeschützter Adminbereich???

Leg da ein verzeichnisschutz per .htaccess drauf.... es gibt genug spider die scheren sich einen Dreck um die robots.txt, und die würden dir auch dann die Webseite löschen...

Beitrag von **Mark.S** » 19.06.2006, 23:47

net(t)worker hat geschrieben:
ein ungeschützter Adminbereich???
Leg da ein verzeichnisschutz per .htaccess drauf.... es gibt genug spider die scheren sich einen Dreck um die robots.txt, und die würden dir auch dann die Webseite löschen...

Seit Stunden versuche ich per .htaccess dieses Verzeichnis zu schützen.
Habe auch eine sehr schöne Anleitung gefunden:
https://www.phpbb.de/doku/kb/artikel.php?artikel=5

Aber es geht nicht. Wenn ich die .htaccess im root ändere, wird meine komplette Seite geschützt. Wenn ich die .htaccess in das zu schützende Verzeichnis speichere, dann wird mir eine 404-Fehlermeldeung angezeigt.

Habe alles mehrfach auf Fehler kontrolliert.

Hast du vielleicht ein anderes Script/Anleitung?

Vielen Dank,

Mark

Beitrag von **Anonymous** » 19.06.2006, 23:53

stellt dein Hoster kein Webformular zur Erstellung eines Verzeichnisschutzes bereit?