Seite von googlebot aussperren

Beitrag von **Velo** » 13.05.2009, 01:00

Hallo, ich baue zuzeit ein webseite und möchte das sie nicht jetzt schon von Googlebot erfasst wird, wie soll ich das machen ???

von **Anzeige von ABAKUS** »

Beitrag von **garfildius** » 13.05.2009, 02:24

mit diesem eintag in der robots.txt

User-agent: *
Disallow: /

Beitrag von **HaraldHil** » 13.05.2009, 08:17

Und am Besten auch noch den Meta Robots auf "noindex, nofollow" - damit die Seite auch durch z.B. externe Verweise nicht in den Index kommt.

Beitrag von **chrizz** » 13.05.2009, 10:14

auch noch den Meta Robots auf "noindex, nofollow"

Ich dachte bis vor kurzem auch, dass das "auch" in diesem Satz sinnvoll wäre, aber nettworker hat letztens dazu mal folgendes gesagt:
Wenn du die Seite per robots.txt sperrst, dann wird der Googlebot nie erfahren, dass auf der Seite ein noindex/nofollow Tag steht. Schlimmstenfalls landet also die blanke URL im Index.

Wie wäre es, wenn du während des Website-Bauens die Seite einfach per htaccess passwortschützt? Ich denke das ist das einfachste. Ein paar externe Sachen kannst du dann zwar erst ganz zum Schluss machen (z.B. Google Feedburner, Analytics usw), aber da wäre es nicht weiter dramatisch, wenn eine Seite mal im INdex landetet, da sich ja in der Endphase nichts mehr an der Struktur ändern wird.

Cheers

Beitrag von **HaraldHil** » 13.05.2009, 10:34

chrizz hat geschrieben:
Schlimmstenfalls landet also die blanke URL im Index.
Genau - und um das zu verhindern, dazu dient dann der noindex/nofollow Tag.

Beitrag von **chrizz** » 13.05.2009, 10:36

wenn du aber mit der robots.txt der Suchmaschine sagst, dass sie die Seite gar nicht erst crawlen darf?

Beitrag von **Mork vom Ork** » 13.05.2009, 10:37

Velo hat geschrieben:ich baue zuzeit ein webseite und möchte das sie nicht jetzt schon von Googlebot erfasst wird, wie soll ich das machen ???

Nicht auf einem öffentlichen Webserver arbeiten, sondern auf dem eigenen Rechner (Stichwort WAMP bzw. XAMPP).

Falls es doch ein öffentlicher Webserver sein muss: Seiten durch den Server sperren, entweder ganz sicher mit Passwort oder, etwas bequemer einzurichten, über einen IP-Ausschluss (Deny from all, Allow from dein.üblicher.adressbereich).

robots.txt und dergleichen sind nicht so wirklich zweckdienlich.

Beitrag von **HaraldHil** » 13.05.2009, 10:56

Mork vom Ork hat geschrieben:Stichwort WAMP bzw. XAMPP)

Sorry, aber XAMPP gibt es sowohl als WAMP wie auch als LAMP

Beitrag von **Mork vom Ork** » 13.05.2009, 11:00

HaraldHil hat geschrieben:
Mork vom Ork hat geschrieben:Stichwort WAMP bzw. XAMPP)
Sorry, aber XAMPP gibt es sowohl als WAMP wie auch als LAMP :)

Deswegen steht dazwischen ja auch „bzw.“.