Seite 1 von 1

Eintrag in robots.txt hilft nur teilweise !

Verfasst: 16.07.2006, 19:30
von canetti
Hallo alle zusammen,

in der robots.txt habe ich einige Seiten eingetragen, die nicht indiziert werden sollen:

User-agent: *
Disallow: /testeite.htm

Wenn ich in google "site:meineseite.de" eingebe wird jedoch auch diese Seite angezeigt. Sie wurde zwar nicht indiziert jedoch hat google trotzdem den Verweis auf die Seite gespeichert.

Ergebnis meiner Suchanfrage:
www.meineseite.de/testseite.htm

Gibt es eine Möglichkeit wie ich erreichen kann, dass google auch nicht den Verweis auf die Seite speichert? Die einzige Lösung, die mir einfällt sind Javascript-Links auf die entsprechenden Seiten. Aber so richtig elegant finde ich das auch nicht. Gibt es evtl. einen entsprechenden Eintrag in der .htaccess mit den ich crawler von den Seiten fernhalten kann oder eine andere Möglichkeit?

Gruß an alle canetti

Verfasst:
von

Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Verfasst: 16.07.2006, 23:12
von bgx
Hi!

Versuchs mal hiermit:

<a href="domain.tld" rel="nofollow">Bis hier her und nicht weiter</a>

Verfasst: 17.07.2006, 02:07
von tomsen
Schreibe noch einmal zusätzlich user-agent: google
dissallow: /testseite.htm
dann funktioniert es. Google hält sich nicht daran : user-agent: *
Google ist halt eine Extrawurst!

Gruß Tom

Verfasst:
von

Verfasst: 17.07.2006, 05:07
von canetti
Hi,

danke für Eure Antworten. Ihr meint also wenn ich noch mal explizit google in der robots.txt erwähne wird auch nicht der Verweis auf die "verbotene" Seite von google indiziert? Müsste die robots.txt dann so aussehen?:

-----------------------------
User-agent: *
User-agent: google
Disallow: /testeite.htm
-----------------------------


Gruß canetti

Verfasst: 17.07.2006, 12:01
von thetrasher
Was du auch in deine robots.txt schreibst, die Seite existiert und ist verlinkt. Durch die robots.txt wird nur das Lesen des Seiteninhalts verhindert. Auch ein "nofollow" verhindert nicht, dass Google die Existenz der verlinkten Seite dem Suchenden gegenüber verleugnet.
canetti hat geschrieben:Gibt es eine Möglichkeit wie ich erreichen kann, dass google auch nicht den Verweis auf die Seite speichert?
Drei Möglichkeiten sehe ich:
  1. Du sperrst auch alle auf die Testseite verlinkenden Seiten über die robots.txt,
  2. Cloaking 1 :evil: Du unterdrückst die Ausgabe des Links bei den Googlebotbesuchen,
  3. Cloaking 2 :evil: Du hebst die Sperre in der robots.txt auf und sendest dem Googlebot bei allen Zugriffen auf die zu schützende Testseite einen 404-(besser: 410-)Fehlerkode.