Hat Google ein Problem mit der robots.txt?

Beitrag von **ole1210** » 14.10.2005, 12:02

Oder bin ich zu doof?
Meine Robots.txt sieht so aus:

User-agent: *
Disallow: /cgi/
Disallow: /redirekt.php

User-agent: googlebot
Disallow: /cgi/
Disallow: /redirekt.php

Allerdings wird mein cgi-Verzeichniss fleissig indexiert und taucht auch in den Serps auf.

Warum?
Was hab ich falsch gemacht?

Viele Grüsse

Ole

von **Anzeige von ABAKUS** »

Beitrag von **MonikaTS** » 14.10.2005, 20:38

Es gibt tools um die robots.txt auf Richtigkeit zu überprüfen.

https://www.seoconsultants.com/robots-text-file/
ist eines, deren gibt es aber viele

heißt Dein Verzeichnis wirklich nur cgi
und nicht cgi-bin ?

lg

Beitrag von **ole1210** » 16.10.2005, 11:27

Es heisst wirklich nur cgi !
Aber google hat alle Dateien im Ordner cgi im Index!

Der Robots.txt-Validator meldet keine Fehler. Alles OK!
Komisch!

Beitrag von **Keks** » 16.10.2005, 12:50

@ole1210

sind die Seiten nur mit URL im Index bei Google, oder sind die Seiten komplett mit Description, Title etc. im Index zu sehen.

sollte nur die URL gelistet sein, so ist das bei Google "normal".

Verzeichnisse die per robots ausgeschlossen werden scheinen trotzdem gespidert zu werden, aber die darin enthalten Seiten werden dann ohne Description gelistet.

Würde mich über Info freuen, ob das bei Dir so ist

mfG
Keks

Beitrag von **Edwin** » 16.10.2005, 13:31

Hallo,
rein grundsätzlich: wie erzeuge ich das robots.txt file?

habe mich soweit informiert, dass ich
User-agent: *
Disallow:

schreiben muss, wenn ich will, dass alles gespidert wird.
Aber wie binde ich die robot.text in ein HTML-Dokument ein? Einfach als Zeile? Oder muss es eine eigene Seite sein? (www.xyz.de/robot.txt)

Gibts da irgendwo eine grundsätzliche Anleitung?

Danke

Beitrag von **Keks** » 16.10.2005, 13:39

@Edwin

https://www.google.de/search?hl=de&q=robots.txt&meta=

hier findest du alles zum Thema robots.txt - auch eine Antwort auf Deinen Frage

mfG
Keks

Beitrag von **Edwin** » 16.10.2005, 14:10

@Keks: Danke!