Ladezeit enorm hoch?

Hmm, wo finde ich denn die access.logs vom apache server. Wenn ich mich per FTP einlogge, sehe ich so eine Datei erstmal nicht. Muß ich den Webhoster fragen, wo er die Datei versteckt hat?

Ist noch nicht lange her, da hatte ich selber mal die Validität mit einem Tool geprüft und dabei kamen viele Fehler raus. Hab das dann gleich als einen wichtigen Punkt aufgenommen die zu beseitigen.

Da hast du natürlich Recht das irgendwas irgendwo nicht so richtig funktioniert. Und das muß gefunden und beseitigt werden. Denn was nützt es, wenn alles funktioniert und man ständig gehackt wird beispielsweise.

Hmm, das versteh ich irgendwie net. Also so viele Bilder gibts doch auf meiner Seite gar nicht das es soooo viel GB ausmachen würde. Und so viele Bots gibts bestimmt auch net oder klauen die alles tausendfach ???

Was sollte denn da stehen in der robots.txt Vielleicht sollte man nur die Bots von den paar bekannten Suchmaschinen zulassen. Im Grunde würde ja schon fast nur der G Bot ausreichen, wenn ich mir die Statistik so anschaue. Also höchstens 10. Was schreibe ich denn da, um nur einzelnen Bots den Besuch zu erlauben?

Also ist ein CMS (open source), kein ganz Bekanntes. Auf jeden Fall nix selbstgestricktes.

Ich hab die access.log Datei gefunden aber weiß nicht so Recht wie ich daraus schlau werden soll. Da taucht fast nur die Ip vom Anbieter auf. Wie soll man da sehen, ob eine bestimmte Ip verantwortlich ist???? Ich hab den gestrigen Tag mal unter die Lupe genommen, jedenfalls ist mir aufgefallen das fast immer die gleichen Dateien runtergeladen werden. Das ist etwas ungewöhnlich. Als ob das ne Schleife oder so wär.

Also als erste Maßnahme hab ich mal jetzt in der robots.txt nur den bekannten Suchmaschinen Zugriff erlaubt. Alle anderen sind jetzt ausgeschlossen.

Außerdem habe ich in der .htaccess weitere Spambots ausgeschlossen, da sich viele ja nicht an die robots.txt halten. Nur die "Guten" wie ich gelesen habe.

Auf jeden Fall war dieser Tipp so oder so schonmal sehr hilfreich. Von dieser Sache wußte ich nur nichts. Vielleicht lag es ja schonmal daran. Würde sich ja mit den Vermutungen decken. Laut den Stats haben die Besucher ca. 3 GB Traffic im Monat Oktober verursacht, während irgendwelche Bots knapp 19 GB verursacht haben. 22 GB war der Gesamtverbrauch.

Werde mal schauen, ob diese Maßnahme schon was gebracht hat. Alle anderen Punkte muß ich natürlich auch berücksichtigen. Ladezeit, sauberer Code etc.

Aus der access Datei bin ich aber dennoch net schlau geworden. Mir ist nur aufgefallen das einige Dateien ständig heruntergeladen werden. Aber mal sehen, ob die Botsperrung was gebracht hat. Danke euch allen für die Hilfe.

Hi.

Siehe PM, warum ich mich jetzt erst wieder melde ...

Also so viele Bilder gibts doch auf meiner Seite gar nicht das es soooo viel GB ausmachen würde. Und so viele Bots gibts bestimmt auch net oder klauen die alles tausendfach???

Wenn du "Pech" hast, liegst du da ganz richtig. Damit kämen wir wieder zur robots.txt. Hier kannst du seriöse Bots "auffordern", bestimmte Verzeichnisse nicht zu durchsuchen. U.a. kann es sinnvoll sein, über diesen Weg die Media-Bots auszuschliessen, da diese bisweilen dazu neigen, dass von dir vermutete Verhalten an den Tag zu legen.

...das fast immer die gleichen Dateien runtergeladen werden ... Als ob das ne Schleife oder so wär.

Na also...!

Auch Bots der populären SuMas missachten schonmal die robots.txt und wildern in verbotenen Gefilden. Allerdings sollte man das Verhalten dann
erstmal beobachten - ein "totaler" Ausschluss per .htaccess kann fatale Folgen haben.

Grundsätzlich sollte man sich aber die Frage stellen, in wie weit es sinnvoll ist, dass Bilder der eigenen Seite im Bilder/Medien-Index der SuMas landen. Zum einen könnten "normale" User über diesen Weg Klicks auf deiner Seite generieren, zum anderen könnten sich Bilderdiebe komfortabel an deinen Bildresourcen bereichern.

Da taucht fast nur die Ip vom Anbieter auf.

Vom Anbieter? Meinst du deine eigene IP vom Internet-Provider?

Also ist ein CMS (open source) ...

Welches CMS generiert ein solches Markup?


Gruss soweit,
xlb