Erst alle Crawler ausschließen, dann alle erlauben?

Beitrag von **pltfu** » 17.08.2013, 14:54

Ich bin verwirrt. Ich habe eine Idee für einen Blog und die Domain dazu habe ich jetzt auch.

Nun kam mir in den Sinn per .htaccess-Datei alle Crawler von der Seite auzuschließen indem ich ein Passwort davorsetze, da ich erstmal ein paar Artikel schreiben möchte, bevor diese dann in Suchmaschinen erscheinen.

Wenn ich mich nicht täusche würden die Crawler dann auf die Startseite gelangen, erkennen das ein Login benötigt wird und ohne etwas zu crawlen wieder "verschwinden". Oder?

Da allerdings setzt dann auch meine Frage an: Wenn der Googlebot dann des Öfteren da war und immer wieder festgestellt hat, dass er keinen Zugriff auf die Seite kriegt, weil ein Passwort davor ist, wird er dann irgendwann gar nicht mehr vorbeikommen und hätte das schlechte Auswirkungen für mich, wenn ich dann irgendwann die Seite für alle zugänglich mache?

von **Anzeige von ABAKUS** »

Beitrag von **e-fee** » 17.08.2013, 21:03

Versteh das Problem nicht ganz, vielleicht denkst Du auch zu kompliziert oder hast die falsche Software am Start.

Wozu die .htaccess?
Jede Blogsoftware sollte das doch heutzutage können, dass Du einen Artikel als Entwurf speicherst und später veröffentlichst. Ein Crawler sieht davon erstmal nix, ebenso wenig der normale Besucher, den Du ja mit der .htaccess auch ausschließt.

Mach doch einen Artikel, den Du schon mal veröffentlichst und der dann die Startseite darstellt. Oder mach eine statische Seite und leite die Domain erst später auf den Blog um (den Du ja auch vorerst mit noindex bzw robots.txt versehen könntest - nur nicht vergessen, das später wieder rauszunehmen!). So hat der Googlebot schon mal Futter, das Du mit den passenden Keywords spicken kannst.

Sicher kann es passieren, dass sich die Crawlingfrequenz etwas verringert, wenn der Bot eine Weile nichts oder immer das Gleiche vorfindet.
Aber meine Erfahrungen sagen, dass Google da eigentlich recht tolerant mit halbfertigen oder zeitweise mal offline gewesenen Baustellenseiten umgeht, wenn dann irgendwann der richtige, vernünftige Content kommt.