Überprüfung der robots.txt

Beitrag von **SSIM!de** » 17.10.2006, 14:47

Hallo SEOs!

Ich würde euch mal bitten meine erstellte Robots.txt zu überprüfen, denn
ich habe das Problem, dass der Googlebot im März noch 15x vorbeigeschaut hat und dann ein einziges mal im August und seitdem garnicht mehr.
Vielleicht liegt es ja tatsächlich an der robots.txt.
Die Seite hat nämlich einen Pagerank 6 und irgendwo habe ich hier mal gelesen, dass die Seiten häufiger indexiert werden, wenn der Pagerank höher ist. (ICH WEIß: Hier wird viel erzählt...

)

Hier die robots.txt:

User-agent: *
Disallow: /counter/
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /includes/
Disallow: /uploads/

Ich hoffe Ihr habt Tipps für mich...

Gruß
Sven

von **Anzeige von ABAKUS** »

Beitrag von **haha** » 17.10.2006, 14:53

SSIM!de hat geschrieben:ich habe das Problem, dass der Googlebot im März noch 15x vorbeigeschaut hat und dann ein einziges mal im August und seitdem garnicht mehr.
Vielleicht liegt es ja tatsächlich an der robots.txt.
Die Seite hat nämlich einen Pagerank 6 und irgendwo habe ich hier mal gelesen, dass die Seiten häufiger indexiert werden, wenn der Pagerank höher ist.

Unfug, da wollte Dich jemand veräppeln. Der einzige Grund für häufige Besuche sind häufige Seitenänderungen, weil Google sonst Gefahr läuft, längst nicht mehr aktuelle Daten im Index zu haben. Was sollte Google davon haben, dreimal am Tag eine Seite einzulesen, die zwar wichtig erscheint, aber sich seit einem halben Jahr nicht geändert hat? Das kostet nur Zeit.

User-agent: *
Disallow: /counter/
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /includes/
Disallow: /uploads/

Eine robots.txt zu erstellen ist keine Hexerei. Mit Deiner ist alles in Ordnung.

Beitrag von **SSIM!de** » 17.10.2006, 14:59

Super! Dann bin ich ja was das angeht beruhigt.
Aber wieso kommt dann der Googlebot nicht mehr?
Die Seite ändert sich ja in sehr kurzen Abständen...

Beitrag von **Andreas I.** » 17.10.2006, 15:19

In welchem Verzeichnis ist denn der Inhalt?

Beitrag von **haha** » 17.10.2006, 15:22

SSIM!de hat geschrieben:Die Seite ändert sich ja in sehr kurzen Abständen...

Nach welchem System Google nun Änderungen als lesenwerte Änderungen einordnet, kann ich Dir nicht sagen, ich möchte aber mal behaupten, dass die meisten Webseiten (Mein-Zimmer-meine-Katze-ich-und-meine-beste-Freundin-Seiten mal ausgenommen) zumindest einmal im Monat von Google ausgelesen werden sollten. Dementsprechend ist es in der Tat merkwürdig, dass sich bei Dir fast gar nichts tut.

Was ist denn das für eine Seite und wie stellst Du fest, wann und wieviele Seiten der Googlebot abruft? Sind alle oder zumindest der überwiegende Teil der Seiten indiziert oder tut Google so, als wenn er nur die Startseite kennt?
Die Gründe für Googles Ignoranz können vielfältig sein, von Besuche falsch gezählt über Javascript-Verweise bis zu übersehenen noindex-<meta>s.

Beitrag von **SSIM!de** » 17.10.2006, 15:22

Naja, im Grunde genommen gibt es mehrere Unterordner.
Es handelt sich um meinen Webkatalog.
Also der hat ja sehr viele Unterseiten.

Es sind eigentlich alle Seiten indexiert.

Oder ist es möglich, dass der eingebaute Counter den Bot nicht "erkennt"?

Beitrag von **haha** » 17.10.2006, 15:31

SSIM!de hat geschrieben:Oder ist es möglich, dass der eingebaute Counter den Bot nicht "erkennt"?

Counter können grundsätzlich keine Zugriffe von Robots festellen, da Robots weder Grafiken abrufen, noch Javascript ausführen. Stellt der Hoster Dir keine Zugriffsprotokolle zur Verfügung?

Beitrag von **SSIM!de** » 17.10.2006, 15:35

Also in meinem Counter kann ich sehen, welche Bots zu Besuch da waren.
Sonst wüsste ich ja nicht, dass im August der letzte da war...

Beitrag von **haha** » 17.10.2006, 15:43

SSIM!de hat geschrieben:Also in meinem Counter kann ich sehen, welche Bots zu Besuch da waren.

Du bindest über ein <object>-Element die Zählseite ein - ich würde mich auf das Funktionieren so einer Konstruktion nicht verlassen. Aber wie Du meinst, ich war es nicht, der sich über die niedrigen Besuchszahlen wundert :)

Beitrag von **SSIM!de** » 17.10.2006, 15:50

Meines Erachtens ist der Counter durch ein Javascript eingebunden....

Beitrag von **robo47** » 17.10.2006, 17:11

SSIM!de hat geschrieben:Meines Erachtens ist der Counter durch ein Javascript eingebunden....

was suchmaschinen nicht ausführen ...

Beitrag von **SSIM!de** » 17.10.2006, 17:14

Also meinst Du, dass durch das Javascript der Googlebot nicht erkannt wird?