ABAKUS

Ich mach das googlesicher immer so:

kann sie zb auch so aussehen :

User-agent: *
User-agent: googlebot
Disallow: /verzeichnis/
Disallow: /eine_seite_die nicht_gespidert_werden_soll.htm

Sorry net(t)worker und catcat wenn ich da jetzt vielleicht was falsches sage, aber das Thema hatte ich erst vor ein paar Wochen. Habe da irgendwo gelesen, meine sogar auf den Google-Hilfe Seiten selber dass die robots.txt zwar das Spidern verhindert, aber wenn ein externer Link auf die Seite zeigt diese dennoch im Index erscheint. Um das zu verhindern hilft nur ein "noindex". Selbiges auch mit "nofollow". Das geht nur wenn kein externer Link drauf zeigt.

Wie gesagt, kann mich irren, aber hatte genau das gleiche Problem mit Aktivierungslinks die per robots.txt gesperrt sind, aber einer den verlinkt hat. War dann im Index und der Bot hat eifrig "geklickt"...

Gruß, Ingo

To-Bi-As hat geschrieben:Sorry net(t)worker und catcat wenn ich da jetzt vielleicht was falsches sage, aber das Thema hatte ich erst vor ein paar Wochen. Habe da irgendwo gelesen, meine sogar auf den Google-Hilfe Seiten selber dass die robots.txt zwar das Spidern verhindert, aber wenn ein externer Link auf die Seite zeigt diese dennoch im Index erscheint. Um das zu verhindern hilft nur ein "noindex". Selbiges auch mit "nofollow". Das geht nur wenn kein externer Link drauf zeigt.

jo... stimmt, das mit den externen links...

aber da in diesem Fall Google für die "gesperrten" Unterseiten einen cache anzeigt, hat er sie auch gespidert, und das würde er ja nicht wenn die robots.txt ihm dies effektiv verbieten würde...

To-Bi-As hat geschrieben: Wie gesagt, kann mich irren, aber hatte genau das gleiche Problem mit Aktivierungslinks die per robots.txt gesperrt sind, aber einer den verlinkt hat. War dann im Index und der Bot hat eifrig "geklickt"...

dann ist die sperrung in der robots.txt aber nicht richtig, denn die beachtet er wohl, kann also den Aktivieruingslink wohl kennen, spidert ihn aber nicht weil die robots.txt es ihm verbietet....

daher muss man sich immer überlegen was man erreichen will... soll er die Unterseite nicht spidern oder soll sie nicht in den Serps auftauchen...

Hallo

Shady hat geschrieben:kann sie zb auch so aussehen :

User-agent: *
User-agent: googlebot
Disallow: /verzeichnis/
Disallow: /eine_seite_die nicht_gespidert_werden_soll.htm

Nein.
Pro User-agent sind die verbotenen Pfade einzutragen.
Wenn du mit den Einträgen für einen Bot fertig bist kommt eine Leerzeile, dann der nächte User-agent.
Wenn du das / am Anfang vergisst wie in der robots.txt die du online hast funktioniert das ganze auch nicht.
Es wird überprüft ob der String in der robots.txt am Anfang des Pfades auftaucht in dem die Seite liegt, die gerade gespidert werden soll.
Der Pfad wäre z.B. /forbidden.php Wenn du dann nur forbidden.php schreibst ist das nicht am Anfang.

Gruss
Kristian

net(t)worker hat geschrieben: aber da in diesem Fall Google für die "gesperrten" Unterseiten einen cache anzeigt, hat er sie auch gespidert, und das würde er ja nicht wenn die robots.txt ihm dies effektiv verbieten würde...

warum? was hat den nun die robots mit dem cache zu tun. Das cachen wird doch nur verhindert, wenn "nocache" in den metas steht oder täusch ich mich da?

np hat geschrieben:warum? was hat den nun die robots mit dem cache zu tun. Das cachen wird doch nur verhindert, wenn "nocache" in den metas steht oder täusch ich mich da?

naja... was soll er denn im cache anzeigen wenn er die site nicht spidern darf? Ohne die site zu spidern weis google ja nicht was auf der site ist und kann so auch keinen cache dafür anzeigen...