Indexiert obwol Robots.txt es verbietet ?

Beitrag von **Shady** » 17.02.2008, 18:46

HI, kann mir mal jemand sagen wieso google seiten bei mir indexiert die ich in der robots.txt verboten habe ?

www.sexy-shisha.de/robots.txt

site&#58;http&#58;//www.sexy-shisha.de

von **Anzeige von ABAKUS** »

Beitrag von **Anonymous** » 17.02.2008, 18:56

der googlebot hat es hin und wieder gerne wenn man ihn direkt anspricht....

Beitrag von **Shady** » 17.02.2008, 19:06

Und wie muss dann dementsprechend die .txt aussehen ?

von **Anzeige von ABAKUS** »

Beitrag von **catcat** » 17.02.2008, 19:56

Ich mach das googlesicher immer so:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /verzeichnis/
Disallow&#58; /eine_seite_die nicht_gespidert_werden_soll.htm

Code: Alles auswählen

User-agent&#58; googlebot
Disallow&#58; /verzeichnis/
Disallow&#58; /eine_seite_die nicht_gespidert_werden_soll.htm

Beitrag von **Shady** » 17.02.2008, 20:57

kann sie zb auch so aussehen :

User-agent: *
User-agent: googlebot
Disallow: /verzeichnis/
Disallow: /eine_seite_die nicht_gespidert_werden_soll.htm

Beitrag von **To-Bi-As** » 18.02.2008, 03:00

Sorry net(t)worker und catcat wenn ich da jetzt vielleicht was falsches sage, aber das Thema hatte ich erst vor ein paar Wochen. Habe da irgendwo gelesen, meine sogar auf den Google-Hilfe Seiten selber dass die robots.txt zwar das Spidern verhindert, aber wenn ein externer Link auf die Seite zeigt diese dennoch im Index erscheint. Um das zu verhindern hilft nur ein "noindex". Selbiges auch mit "nofollow". Das geht nur wenn kein externer Link drauf zeigt.

Wie gesagt, kann mich irren, aber hatte genau das gleiche Problem mit Aktivierungslinks die per robots.txt gesperrt sind, aber einer den verlinkt hat. War dann im Index und der Bot hat eifrig "geklickt"...

Gruß, Ingo

Beitrag von **Anonymous** » 18.02.2008, 03:44

To-Bi-As hat geschrieben:Sorry net(t)worker und catcat wenn ich da jetzt vielleicht was falsches sage, aber das Thema hatte ich erst vor ein paar Wochen. Habe da irgendwo gelesen, meine sogar auf den Google-Hilfe Seiten selber dass die robots.txt zwar das Spidern verhindert, aber wenn ein externer Link auf die Seite zeigt diese dennoch im Index erscheint. Um das zu verhindern hilft nur ein "noindex". Selbiges auch mit "nofollow". Das geht nur wenn kein externer Link drauf zeigt.

jo... stimmt, das mit den externen links...

aber da in diesem Fall Google für die "gesperrten" Unterseiten einen cache anzeigt, hat er sie auch gespidert, und das würde er ja nicht wenn die robots.txt ihm dies effektiv verbieten würde...

To-Bi-As hat geschrieben: Wie gesagt, kann mich irren, aber hatte genau das gleiche Problem mit Aktivierungslinks die per robots.txt gesperrt sind, aber einer den verlinkt hat. War dann im Index und der Bot hat eifrig "geklickt"...

dann ist die sperrung in der robots.txt aber nicht richtig, denn die beachtet er wohl, kann also den Aktivieruingslink wohl kennen, spidert ihn aber nicht weil die robots.txt es ihm verbietet....

daher muss man sich immer überlegen was man erreichen will... soll er die Unterseite nicht spidern oder soll sie nicht in den Serps auftauchen...

Beitrag von **Kristian** » 18.02.2008, 10:15

Hallo

Shady hat geschrieben:kann sie zb auch so aussehen :

User-agent: *
User-agent: googlebot
Disallow: /verzeichnis/
Disallow: /eine_seite_die nicht_gespidert_werden_soll.htm

Nein.
Pro User-agent sind die verbotenen Pfade einzutragen.
Wenn du mit den Einträgen für einen Bot fertig bist kommt eine Leerzeile, dann der nächte User-agent.
Wenn du das / am Anfang vergisst wie in der robots.txt die du online hast funktioniert das ganze auch nicht.
Es wird überprüft ob der String in der robots.txt am Anfang des Pfades auftaucht in dem die Seite liegt, die gerade gespidert werden soll.
Der Pfad wäre z.B. /forbidden.php Wenn du dann nur forbidden.php schreibst ist das nicht am Anfang.

Gruss
Kristian

Beitrag von np » 19.02.2008, 15:52

net(t)worker hat geschrieben: aber da in diesem Fall Google für die "gesperrten" Unterseiten einen cache anzeigt, hat er sie auch gespidert, und das würde er ja nicht wenn die robots.txt ihm dies effektiv verbieten würde...

warum? was hat den nun die robots mit dem cache zu tun. Das cachen wird doch nur verhindert, wenn "nocache" in den metas steht oder täusch ich mich da?

Beitrag von **Anonymous** » 19.02.2008, 17:10

np hat geschrieben:warum? was hat den nun die robots mit dem cache zu tun. Das cachen wird doch nur verhindert, wenn "nocache" in den metas steht oder täusch ich mich da?

naja... was soll er denn im cache anzeigen wenn er die site nicht spidern darf? Ohne die site zu spidern weis google ja nicht was auf der site ist und kann so auch keinen cache dafür anzeigen...