googlebot verarscht mich ?

[dirk]

Hi,

ich habe folgende Files auf meinem Server liegen zwei files :

directory.html

und

blogger/blogger.html

Jetzt geht der googlebot hin und spidert die zwei Files und zusätzlich noch folgendes :

blogger/directory.html
blogger.html (also im root und nicht im subdirectory)

Ist das ne Form von KI, die ich (noch) nicht verstehe oder was ist da los ?

[bugscout]

moin dirk,

https://googletracker.de/blogger.html
https://blog.googletracker.de/blogger.html

https://googletracker.de/blogger/directory.html
https://blog.googletracker.de/blogger/directory.html

gibt es also werden sie auch gespidert.

subdomain verlinkungs oder rewrite chaos ?

grüsse

[pauschaltourist]

Hi,

ich habe folgende Files auf meinem Server liegen zwei files :

directory.html

und

blogger/blogger.html

Jetzt geht der googlebot hin und spidert die zwei Files und zusätzlich noch folgendes :

blogger/directory.html
blogger.html (also im root und nicht im subdirectory)

Ist das ne Form von KI, die ich (noch) nicht verstehe oder was ist da los ?

vielleicht hast du irgendwo versäumt auf den festen Pfad zu verweisen, z.B. \<a href=blogger.html\>Link\<a\> von allein kommt der sicher nicht auf eine solche Idee. Robots springen von Link zu Link und haben keinerlei Intelligenz

[dirk]

Neee ... rein datei-technisch gibts die eben nicht.

Also googletracker.de ist nur ne Weiterleitung von united-domains. Egal auf was Du bei *googletracker.de* gehst - Du landest auf der Hauptseite. Die Domains werden alle auf searchtracker.de umgeleitet. es gibt also auch google-ist-doof.googletracker.de oder bloedsinn.googletracker.de/muell.html. Weiterhin leite ich 404 Seiten um

Also ... es gibt dies hier :

1) www.searchtracker.de/directory.html sowie
2) www.searchtracker.de/blogger/blogger.html

Google geht aber auch auf :

3) www.searchtracker.de/blogger/directory.html sowie
4) www.searchtracker.de/blogger.html

Bei 3) und 4) kommt dann ein Error 304 bzw. ein 404.

Die Frage ist, WARUM googlebot das macht ? Die Seiten sind so nirgendwo verlinkt. Wie kommt der also darauf ? Denkt der sich das aus ?? Ich habe sicherlich nirgendwo einen link auf "blogger/directory.html" drin.

[pauschaltourist]

Neee ... rein datei-technisch gibts die eben nicht.

[...]

Google geht aber auch auf :

3) www.searchtracker.de/blogger/directory.html sowie
4) www.searchtracker.de/blogger.html

Bei 3) und 4) kommt dann ein Error 304 bzw. ein 404.

Die Frage ist, WARUM googlebot das macht ? Die Seiten sind so nirgendwo verlinkt. [...]

es gibt hierfür nur 2 mögliche Erklärungen:

- die Seiten haben irgendwann mal existiert (google versucht auch bei mir ständig nicht mehr existierende Seiten zu spidern, obwohl nichts und niemand mehr darauf verweist) dann hört das irgendwann mal auf...

oder - sehr viel wahrscheinlicher:
eine extrene Seite schickt den Bot genau dort hin. Also jemand verweist vielleicht von einer anderen Domain per Deeplink fälschlicherweise auf diese. Da sie ja existiert wird sie auch gespidert

[bugscout]

moin dirk,

Also googletracker.de ist nur ne Weiterleitung von united-domains. Egal auf was Du bei *googletracker.de* gehst - Du landest auf der Hauptseite

https://blog.googletracker.de/blogger/directory.html und
https://blog.googletracker.de/blogger.html

gehen aber nicht auf die startseite

grüsse

[dirk]

moin dirk,

Also googletracker.de ist nur ne Weiterleitung von united-domains. Egal auf was Du bei *googletracker.de* gehst - Du landest auf der Hauptseite

https://blog.googletracker.de/blogger/directory.html und
https://blog.googletracker.de/blogger.html

gehen aber nicht auf die startseite

grüsse

Doch ... die gehen auf die Startseite von der tatsächlich angelegten subdomain blog.googletracker.de