robots.txt bei Site Abfrage

Beitrag von **Unifex** » 20.05.2006, 18:26

Gerade mache ich bei Google eine Site Abfrage für eines meiner Projekte. Jede Seite ist im Index. Allerdings findet sich bei der Site Abfrage auch meine Robots.txt in den Ergebnissen wieder.
Das hatte ich ja noch nie.
Dort steht „#robots.txt für die Domain www.xxx.com #erzeugt am 24.10.2005 User-agent: ……1k

Frage: ist das neu und werden die Keywörter da drin gewertet?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **oldInternetUser** » 20.05.2006, 18:36

google findet 46.000 robots.txt

inurl:"robots.txt" filetype:txt

Darunter whitehouse.org, google.com und w3c.org - bist also in prominenter Gesellschaft.

Die Suche nach
advanced_group_search jsky unclesam scholar searchhistory

listet die google-robots.txt

Beitrag von **Unifex** » 20.05.2006, 18:52

Danke für die Auskunft. Bei mir wurde die bisher bei noch keinem Projekt angezeigt. Vor zwei Wochen hat dieses Projekt ein redesign bekommen. Aus irgendeinem Grund wird sie nun in Google angezeigt.

Ich sehe gerade, dass einige robots.txt sogar einen PR haben. Sachen gibt es...

von **Anzeige von ABAKUS** »

Beitrag von **Clever** » 20.05.2006, 19:30

Ich sehe gerade, dass einige robots.txt sogar einen PR haben. Sachen gibt es...

Ich hatte kürzlich einen PR6 auf einer "GNU Free Documentation License" Textdatei, die ich im Rahmen eines Wikipedia Artikels verlinkt hatte. Leider kann man da ja keine Links draufmachen auf so eine .txt ...