ABAKUS

Hi.

Ich habe voller Freude festgestellt, dass Slurp meine Seite mal wieder wie blöd spidert. Auf dem zweiten Blick habe ich jedoch entsetzt festgestellt, dass nur 404 produziert wird.

Es handelt sich jedoch um einwandfreie Links und Seiten, die statisches html haben. Der Server meines Webanbieters ist auch nicht down.

Bis gestern hat Slurp auch immer einwandfrei 200er geslurped.

Hat da jemand eine Erklärung für?

Es handelt sich um die Seite www.Hot-Planet-Shop.de und da um die Unterseiten.

Slurp produziert bei mir regelmäßig auf bestimmten Unterseiten 404 - google und Xenu niemals. Slurp scheint mit der relativen Verlinkung nicht klarzukommen und sucht die Dateien im Stammverzeichnis, wo sie natürlich fehlen.

Ich hatte schon einmal eine Mail an Yahoo geschickt, keine Antwort, keine Änderung.

Das ist ja übel!

Bisher gings, immer schöne 200er. Die Dateien liegen alle auf der selben Ebene (2. Ebene).

Wenn das so ist, werde ich wohl die absoluten Links einfügen. Nutzt ja nichts

Merkwürdig ist es trotzdem. Und gerade jetzt, wo der Slurpi so schön arbeitet....

Ich habe noch einen anderen Verdacht.

Kann es sein, dass der Anbieter aufgrund des hohen Traffics den Slurp einfach aussperrt?

Der Anbieter hat sich schon mal über hohen Traffic auf meiner Seite beklagt - und das obwohl die 10 Gig nicht mal erreicht sind, die im Vertrag zugesichert sind.

Ich habe ihn auf jeden Fall mal gefragt. Falls das wirklich der Fall wäre dann brauch ich sofort einen neuen Anbieter

Grüße

Nice

Hat echt keiner einen Vorschlag, was ich machen soll?

Das ist ja nicht normal. Der Provider sagt, er hat nichts gemacht.

So sieht die Log aus.

68.142.249.55 - - [09/Jul/2005:21:48:29 +0200] "GET /h/horrorvision_dvd_vl.html HTTP/1.0" 404 305 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)"
68.142.249.55 - - [09/Jul/2005:21:48:29 +0200] "GET /p/pornostar_gebraucht.html HTTP/1.0" 404 305 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)"
68.142.249.55 - - [09/Jul/2005:21:48:30 +0200] "GET /g/glimmer_man_dvd.html HTTP/1.0" 404 301 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)"


Es ist total deprimierend. Der Slurp ist fleissig ohne Ende und erhält nach wie vor aus irgendeinem unerklärlichen Grund den 404

vielleicht geht er auf ne falsche domain oder sowas in der art?

Danke ts77!

Du bist genial. Das war des Rätsels Lösung.

Ich hatte den Content kurzfristig mal auf eine Sub-Domain gelegt, mich dann aber dazu entschlossen, das ganze doch auf meine Hauptdomain zu legen. Und obwohl der Slurp zuerst die Hauptdomain gespidert hat, ist er irgendwie auf die Sub gekommen...

Ich habs jetzt mit redirect 301 auf die Hauptdomain umgeleitet - und schon tauchts in der Log so auf:

/p/papa_bitte_hol_fuer_mich_den_mond_vom_himmel.html HTTP/1.0" 301 369 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)"

Jetzt kann ich endlich wieder beruhigt schlafen

Viele Grüße

Stefan