Eintrag in robots.txt hilft nur teilweise !

Beitrag von **canetti** » 16.07.2006, 19:30

Hallo alle zusammen,

in der robots.txt habe ich einige Seiten eingetragen, die nicht indiziert werden sollen:

User-agent: *
Disallow: /testeite.htm

Wenn ich in google "site:meineseite.de" eingebe wird jedoch auch diese Seite angezeigt. Sie wurde zwar nicht indiziert jedoch hat google trotzdem den Verweis auf die Seite gespeichert.

Ergebnis meiner Suchanfrage:
www.meineseite.de/testseite.htm

Gibt es eine Möglichkeit wie ich erreichen kann, dass google auch nicht den Verweis auf die Seite speichert? Die einzige Lösung, die mir einfällt sind Javascript-Links auf die entsprechenden Seiten. Aber so richtig elegant finde ich das auch nicht. Gibt es evtl. einen entsprechenden Eintrag in der .htaccess mit den ich crawler von den Seiten fernhalten kann oder eine andere Möglichkeit?

Gruß an alle canetti

von **Anzeige von ABAKUS** »

Beitrag von **bgx** » 16.07.2006, 23:12

Hi!

Versuchs mal hiermit:

<a href="domain.tld" rel="nofollow">Bis hier her und nicht weiter</a>

Beitrag von **tomsen** » 17.07.2006, 02:07

Schreibe noch einmal zusätzlich user-agent: google
dissallow: /testseite.htm
dann funktioniert es. Google hält sich nicht daran : user-agent: *
Google ist halt eine Extrawurst!

Gruß Tom

von **Anzeige von ABAKUS** »

Beitrag von **canetti** » 17.07.2006, 05:07

Hi,

danke für Eure Antworten. Ihr meint also wenn ich noch mal explizit google in der robots.txt erwähne wird auch nicht der Verweis auf die "verbotene" Seite von google indiziert? Müsste die robots.txt dann so aussehen?:

-----------------------------
User-agent: *
User-agent: google
Disallow: /testeite.htm
-----------------------------

Gruß canetti

Beitrag von **thetrasher** » 17.07.2006, 12:01

Was du auch in deine robots.txt schreibst, die Seite existiert und ist verlinkt. Durch die robots.txt wird nur das Lesen des Seiteninhalts verhindert. Auch ein "nofollow" verhindert nicht, dass Google die Existenz der verlinkten Seite dem Suchenden gegenüber verleugnet.

canetti hat geschrieben:Gibt es eine Möglichkeit wie ich erreichen kann, dass google auch nicht den Verweis auf die Seite speichert?

Drei Möglichkeiten sehe ich:

Du sperrst auch alle auf die Testseite verlinkenden Seiten über die robots.txt,
Cloaking 1 Du unterdrückst die Ausgabe des Links bei den Googlebotbesuchen,
Cloaking 2 Du hebst die Sperre in der robots.txt auf und sendest dem Googlebot bei allen Zugriffen auf die zu schützende Testseite einen 404-(besser: 410-)Fehlerkode.