ABAKUS

Hola,

hab eben festgestellt, das Google mich tatsächlich mind. alle 2 Tage besucht, aber immer nach der root-Seite "/" und dem anschliessenden einlesen meienes robots.txt files wieder abhaut.

Kurz zur robots.txt

User-agent: *
Disallow: /affiliate/
Disallow: /config/
Disallow: /imggallery/
Disallow: /intra_link/
Disallow: /loop/
Disallow: /newsletter/
Disallow: /linkincl/

Das robots.txt - files ist laut :
https://www.searchengineworld.com/cgi-b ... tcheck.cgi
und
https://www.sxw.org.uk/computing/robots/check.html
völlig in ordnung und keines der angegebenen Verzeichnisse hat direkt was mit den Links von der Homepage aus zu tun.

Woran kanns wohl liegen ? Vielleicht hat ja jemand einen Tip ;)


Noch eine Frage bzgl. config files und klassen in PHP !
Kann es sein sein dass es daran liegt, dass die Anweisungen:
Disallow: /config/
zur Folge haben , dass aus den Klassen generierte Seiten nicht indiziert werden können ? Die Seite wird doch erst Serverseitig zusammengestellt und dann Clients, wie auch dem googlebot zur Verfügunf gestellt, oder ?

Vielen Dank für Tips und Hinweise,

shapeshifter

Ist ganz normal bei einer PR0-Seite, daß zunächst nur die index.* eingelesen wird und erst später die weiteren Ebenen, sofern genügend eingehende Links vorhanden sind.

Hat mit Disallow: /config/ nichts zu tun, wie Du schon richtig erkannt hast.

Im übrigen sollte es umgekehrt sein: Erst sollte die robots.txt und danach der Index / eingelesen werden.

Ok - aber wieso kommt der googlebot alle 2 Tage vorbei ?

Hab keinen META diesbezüglich angegeben.......


gruss,

shapeshifter