ABAKUS

verwirrt hat geschrieben:Ich möchte, dass nur der Googlebot eine Unterseite indexiert und die darauf vorhandenen Links erfasst. Yahoo, MSN und andere sollen die Seite nicht spidern

Die Einträge in der robots.txt lassen sich auch in Abschnitte für einzelne Robots aufteilen. Du benötigst lediglich einen Abschnitt namens "Googlebot", in dem Du Deine Wünsche Google mitteilst, und einen allgemeinen Abschnitt, in dem Du alle Seiten sperrst. Wie das geht, ist sowohl in der Anleitung für das robots.txt-Format beschrieben als auch auf Deutsch bei Google.

Die robots.txt ist allerdings keine Garantie dafür, dass Seiten von Dir überhaupt nicht in einem Index landen. Mal abgesehen davon, dass sich niemand an die robots.txt-Einträge halten muss (es sind Wünsche, keine Sperren), speichern einige Suchmaschinen - unter anderem Google - auch URLs, die Ziel eines Verweises sind. Dies allerdings ohne jeglichen Inhalt (da sie entsprechend der robots.txt nicht abgerufen werden), die URL erscheint daher in der Regel bestenfalls, wenn man explizit nach ihr sucht.

@ haha

Dankeschön.