Seite 1 von 1
Hat Google ein Problem mit der robots.txt?
Verfasst: 14.10.2005, 12:02
von ole1210
Oder bin ich zu doof?
Meine Robots.txt sieht so aus:
User-agent: *
Disallow: /cgi/
Disallow: /redirekt.php
User-agent: googlebot
Disallow: /cgi/
Disallow: /redirekt.php
Allerdings wird mein cgi-Verzeichniss fleissig indexiert und taucht auch in den Serps auf.
Warum?
Was hab ich falsch gemacht?
Viele Grüsse
Ole
Hat Google ein Problem mit der robots.txt?
Verfasst: 14.10.2005, 20:38
von MonikaTS
Es gibt tools um die robots.txt auf Richtigkeit zu überprüfen.
https://www.seoconsultants.com/robots-text-file/
ist eines, deren gibt es aber viele
heißt Dein Verzeichnis wirklich nur cgi
und nicht cgi-bin ?
lg
Ja!
Verfasst: 16.10.2005, 11:27
von ole1210
Es heisst wirklich nur cgi !
Aber google hat alle Dateien im Ordner cgi im Index!
Der Robots.txt-Validator meldet keine Fehler. Alles OK!
Komisch!
Verfasst: 16.10.2005, 12:50
von Keks
@ole1210
sind die Seiten nur mit URL im Index bei Google, oder sind die Seiten komplett mit Description, Title etc. im Index zu sehen.
sollte nur die URL gelistet sein, so ist das bei Google "normal".
Verzeichnisse die per robots ausgeschlossen werden scheinen trotzdem gespidert zu werden, aber die darin enthalten Seiten werden dann ohne Description gelistet.
Würde mich über Info freuen, ob das bei Dir so ist
mfG
Keks
grundsätzliche Frage zu robots.text
Verfasst: 16.10.2005, 13:31
von Edwin
Hallo,
rein grundsätzlich: wie erzeuge ich das robots.txt file?
habe mich soweit informiert, dass ich
User-agent: *
Disallow:
schreiben muss, wenn ich will, dass alles gespidert wird.
Aber wie binde ich die robot.text in ein HTML-Dokument ein? Einfach als Zeile? Oder muss es eine eigene Seite sein? (
www.xyz.de/robot.txt)
Gibts da irgendwo eine grundsätzliche Anleitung?
Danke
Verfasst: 16.10.2005, 13:39
von Keks
@Edwin
https://www.google.de/search?hl=de&q=robots.txt&meta=
hier findest du alles zum Thema robots.txt - auch eine Antwort auf Deinen Frage
mfG
Keks
Verfasst: 16.10.2005, 14:10
von Edwin
@Keks: Danke!
