Seite 1 von 1
robots.txt bei Site Abfrage
Verfasst: 20.05.2006, 18:26
von Unifex
Gerade mache ich bei Google eine Site Abfrage für eines meiner Projekte. Jede Seite ist im Index. Allerdings findet sich bei der Site Abfrage auch meine Robots.txt in den Ergebnissen wieder.
Das hatte ich ja noch nie.
Dort steht „#robots.txt für die Domain
www.xxx.com #erzeugt am 24.10.2005 User-agent: ……1k
Frage: ist das neu und werden die Keywörter da drin gewertet?
Verfasst: 20.05.2006, 18:36
von oldInternetUser
google findet 46.000 robots.txt
inurl:"robots.txt" filetype:txt
Darunter whitehouse.org, google.com und w3c.org - bist also in prominenter Gesellschaft.
Die Suche nach
advanced_group_search jsky unclesam scholar searchhistory
listet die google-robots.txt
Verfasst: 20.05.2006, 18:52
von Unifex
Danke für die Auskunft. Bei mir wurde die bisher bei noch keinem Projekt angezeigt. Vor zwei Wochen hat dieses Projekt ein redesign bekommen. Aus irgendeinem Grund wird sie nun in Google angezeigt.
Ich sehe gerade, dass einige robots.txt sogar einen PR haben. Sachen gibt es...
Verfasst: 20.05.2006, 19:30
von Clever
Ich sehe gerade, dass einige robots.txt sogar einen PR haben. Sachen gibt es...
Ich hatte kürzlich einen PR6 auf einer "GNU Free Documentation License" Textdatei, die ich im Rahmen eines Wikipedia Artikels verlinkt hatte. Leider kann man da ja keine Links draufmachen auf so eine .txt ...
