ABAKUS

Verfasst: **20.05.2006, 18:26**

Gerade mache ich bei Google eine Site Abfrage für eines meiner Projekte. Jede Seite ist im Index. Allerdings findet sich bei der Site Abfrage auch meine Robots.txt in den Ergebnissen wieder.
Das hatte ich ja noch nie.
Dort steht „#robots.txt für die Domain www.xxx.com #erzeugt am 24.10.2005 User-agent: ……1k

Frage: ist das neu und werden die Keywörter da drin gewertet?

Verfasst: **20.05.2006, 18:36**

google findet 46.000 robots.txt

inurl:"robots.txt" filetype:txt

Darunter whitehouse.org, google.com und w3c.org - bist also in prominenter Gesellschaft.

Die Suche nach
advanced_group_search jsky unclesam scholar searchhistory

listet die google-robots.txt

Verfasst: **20.05.2006, 18:52**

Danke für die Auskunft. Bei mir wurde die bisher bei noch keinem Projekt angezeigt. Vor zwei Wochen hat dieses Projekt ein redesign bekommen. Aus irgendeinem Grund wird sie nun in Google angezeigt.

Ich sehe gerade, dass einige robots.txt sogar einen PR haben. Sachen gibt es...

Verfasst: **20.05.2006, 19:30**

Ich sehe gerade, dass einige robots.txt sogar einen PR haben. Sachen gibt es...

Ich hatte kürzlich einen PR6 auf einer "GNU Free Documentation License" Textdatei, die ich im Rahmen eines Wikipedia Artikels verlinkt hatte. Leider kann man da ja keine Links draufmachen auf so eine .txt ...

ABAKUS

robots.txt bei Site Abfrage

robots.txt bei Site Abfrage