Seltsamer Seitenaufruf vom Google Crawler

[Bernd4]

Hallo all,

ich habe soeben einen seltsamen Seitenaufruf vom Google Crawler entdeckt und werde nicht so recht schlau daraus.

Der Crawler hat folgendes angefordert :
/dateiname-immer-gleich.php/verzeichnis1/verzeichnis2/verzeichnis1/verzeichnis3/dateiname.php

Kann mir hier irgendjemand weiterhelfen? Vielleicht steh ich ja auch nur auf der Leitung. Aber ich kann mir einfach keinen Reim darauf machen.

Google hat hier die verschiedensten Pfadkombinationen versucht mit verschiedenen Dateinamen am Ende. Einzig die vorderste Datei ist immer die gleiche. Und die Namen der letzten Dateien sind alle im root, na ja außer der index.php - die kommt natürlich auch in den Unterverzeichnissen vor.


ratlos grüßend in die Runde
Bernd

[Marco]

Und die IP des *Besuchers* ist eine von google's ips?

[Bernd4]

Hallo Marco,

ja: 66-249-65-38. Ist doch wohl eine von Google.

[Marco]

definitiv: crawl-66-249-65-38.googlebot.com

aber dann weiss ich leider auch nicht weiter...

irgendwoher wird Google wohl die links haben

[Bernd4]

@ Marco: Ja definitiv.

@ all:
Ich fange nun die Anfragen ab und leite sie auf die dateiname-immer-gleich.php.
Soll ich vielleicht lieber noch einen 301er header mitschicken? grübel.

Grüße
Bernd

[sean]

@Bernd4

gibt es die Verzeichnisse bei dir, die der Google Bot versuchte aufzurufen? Dann hat er irgendwo bei dir etwas nicht ordentlich indexiert, bzw. könntest Du fehlerhafte interne Links haben.

Gruß

sean

[Bernd4]

@sean:
Ja, es gibt alles was er aufruft, Verzeichnisse, dateiname.php am Ende.
Es sind auch alle Seiten indiziert. Deshalb kapier ich es ja auch nicht.
Die Domain ist auch schon 4 Jahre alt. Keine sonstigen Probleme, außer dass Google nicht den PR vergibt, der der Seite zustände . Aber das Problem haben ja alle hier.

Grüße
Bernd

[Georgi]

Hallo Bernd4,

vielleicht ist des Rätsels Lösung auch ganz einfach: Irgendein <ContentSpamSuchDirWasAus> - Verzeichnis ist mal wieder falsch programmiert, hat Deine Seite geContentSpidert, um dann den Link auf die Seite aufzunehmen, der wegen einer Falschprogrammierung dann so aussieht... äh.

Das Ergebnis wäre dann, dass Google denkt: "Aha! Ein Link! Den spider ich doch mal" - und bei Dir erscheint ein Crawlabruf mit genau dieser URL. Du kannst wahrscheinlich innerhalb von Google diesen Gedankengang durch suchen verifizieren.

Just my 0,02 € - Vodka, Georgi

[Bernd4]

@ Georgi:
Ja an das hatte ich auch schon gedacht.
Ich habe es gerade nochmals gecheckt. Es gibt keine Treffer.
Allerdings hast Du mich noch auf eine andere Idee gebracht:

Ich habe mal site: ausgeführt und da tauchen diese langen Dateinamen auch teilweise auf. Alle die aufgeführt sind haben den title von der dateiname-immer-gleich.php, also der ersten Datei im Pfad.

Hm, ich bin immer noch ratlos. Scheint sich wohl um ein eher unbekanntes Problem zu handeln.

Grüße
Bernd