Robots.txt richtig einbauen

Beitrag von **hobbyweb** » 02.02.2006, 16:35

Hallo,

ich möchte nur auf einer html-Seite die Spider/Robots der SuMas aussperren. Diese Seite liegt jedoch mit allen anderen html-Dokumenten in einem Ordner damit alles geordnet ist. Wie kann ich jetzt dieses einzelne Dokument aussperren, ohne dass die Spider direkt alles nicht mehr indexieren?

Gruß
hobbyweb

von **Anzeige von ABAKUS** »

Beitrag von **Pompom** » 02.02.2006, 16:39

indem man auf der Domain in der Robots.txt das Dokument sperrt.

User-agent: *
Disallow: /pfad/weissdergeier/bloedehtml.html

Beitrag von **ole1210** » 02.02.2006, 16:44

Und damit der blöde googlebot das auch versteht machst du das doppelt:

User-agent: *
Disallow: /pfad/weissdergeier/bloedehtml.html

User-agent: googlebot
Disallow: /pfad/weissdergeier/bloedehtml.html

Beitrag von **hobbyweb** » 02.02.2006, 16:50

Und damit sperre ich dann nur das eine html-Dokument aus? Nicht dass nacher meine ganze Seite ausm Index fliegt...

Beitrag von **Wirths Media** » 02.02.2006, 19:49

Schau mal hier...

https://www.abakus-internet-marketing.d ... -tools.htm

robots.txt generator...

MfG
Daniel

Beitrag von **hobbyweb** » 02.02.2006, 20:09

OK danke, nur um nochmal sicherzugehen.

Um eine Datei vor den Spidern zu schützen muss die robots.txt so aussehen, richtig?

User-agent: *
Disallow: /directory/datei.html

Die Datei speichere ich dann in einer ganz normalen .txt und uploade sie in den Ordner wo meine Seite liegt, soweit richtig?

edit: Nochwas, wenn eine Datei bereits bei Google indexiert ist, ich diese dann jetzt aber ab jetzt mit der robots.txt aussperre, wird das html-Dokument dann nach einiger Zeit automatisch aus Google entfernt?

Beitrag von **Pompom** » 02.02.2006, 20:32

Richtig.

Ole1210,

so brauchst du dich nicht wundern, wenn der googlebot nicht auf dich hört.
Jeder Bot ist zufrieden, wenn er sequenziell gelesen einen Eintrag findet,
auf den er hören kann.
Der Googlebot hört auch auf User-agent: * weshalb ihn der Rest nicht interessiert.
Richtig ist also diese Reihenfolge:

User-agent: googlebot
Disallow: /pfad/weissdergeier/bloedehtmlseiteohnegoogle.html

User-agent: *
Disallow: /pfad/weissdergeier/bloedehtml.html

Beitrag von **hobbyweb** » 02.02.2006, 20:36

Muss ich den Google-Bot jetzt mit "User-agent: googlebot" nochmal extra aussperren oder nicht?

Beitrag von **Wirths Media** » 02.02.2006, 20:37

nein

kann nur etwas dauern, biss er sie beachtet...

Beitrag von **hobbyweb** » 02.02.2006, 20:42

OK, kann ich eine Unterseite von mir denn irgendwie manuell aus Google entfernen? Bzw. wie lange dauert das denn i.d.R.?

Beitrag von **Wirths Media** » 02.02.2006, 20:58

https://www.google.de/intl/de/webmasters/remove.html

Beitrag von **ole1210** » 03.02.2006, 16:20

@ pompom

Erfahrungsgemäß ist es egal, in welcher Reihenfolge die Robots angesprochen werden.

Sicher ist, das der googlebot separat angesprochen werden sollte, da er sich häufig nicht an * hält.