Hat Google ein Problem mit der robots.txt?

[ole1210]

Oder bin ich zu doof?
Meine Robots.txt sieht so aus:

User-agent: *
Disallow: /cgi/
Disallow: /redirekt.php

User-agent: googlebot
Disallow: /cgi/
Disallow: /redirekt.php

Allerdings wird mein cgi-Verzeichniss fleissig indexiert und taucht auch in den Serps auf.

Warum?
Was hab ich falsch gemacht?

Viele Grüsse

Ole

[MonikaTS]

Es gibt tools um die robots.txt auf Richtigkeit zu überprüfen.

https://www.seoconsultants.com/robots-text-file/
ist eines, deren gibt es aber viele

heißt Dein Verzeichnis wirklich nur cgi
und nicht cgi-bin ?

lg

[ole1210]

Es heisst wirklich nur cgi !
Aber google hat alle Dateien im Ordner cgi im Index!

Der Robots.txt-Validator meldet keine Fehler. Alles OK!
Komisch!

[Keks]

@ole1210

sind die Seiten nur mit URL im Index bei Google, oder sind die Seiten komplett mit Description, Title etc. im Index zu sehen.


sollte nur die URL gelistet sein, so ist das bei Google "normal".

Verzeichnisse die per robots ausgeschlossen werden scheinen trotzdem gespidert zu werden, aber die darin enthalten Seiten werden dann ohne Description gelistet.

Würde mich über Info freuen, ob das bei Dir so ist

mfG
Keks

[Edwin]

Hallo,
rein grundsätzlich: wie erzeuge ich das robots.txt file?

habe mich soweit informiert, dass ich
User-agent: *
Disallow:

schreiben muss, wenn ich will, dass alles gespidert wird.
Aber wie binde ich die robot.text in ein HTML-Dokument ein? Einfach als Zeile? Oder muss es eine eigene Seite sein? (www.xyz.de/robot.txt)

Gibts da irgendwo eine grundsätzliche Anleitung?

Danke

[Keks]

@Edwin

https://www.google.de/search?hl=de&q=robots.txt&meta=

hier findest du alles zum Thema robots.txt - auch eine Antwort auf Deinen Frage

mfG
Keks

[Edwin]

@Keks: Danke!