Seite 1 von 1
Robots.txt richtig einbauen
Verfasst: 02.02.2006, 16:35
von hobbyweb
Hallo,
ich möchte nur auf einer html-Seite die Spider/Robots der SuMas aussperren. Diese Seite liegt jedoch mit allen anderen html-Dokumenten in einem Ordner damit alles geordnet ist. Wie kann ich jetzt dieses einzelne Dokument aussperren, ohne dass die Spider direkt alles nicht mehr indexieren?
Gruß
hobbyweb
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Robots.txt richtig einbauen
Verfasst: 02.02.2006, 16:39
von Pompom
indem man auf der Domain in der Robots.txt das Dokument sperrt.
User-agent: *
Disallow: /pfad/weissdergeier/bloedehtml.html
Verfasst: 02.02.2006, 16:44
von ole1210
Und damit der blöde googlebot das auch versteht machst du das doppelt:
User-agent: *
Disallow: /pfad/weissdergeier/bloedehtml.html
User-agent: googlebot
Disallow: /pfad/weissdergeier/bloedehtml.html
Robots.txt richtig einbauen
Verfasst: 02.02.2006, 16:50
von hobbyweb
Und damit sperre ich dann nur das eine html-Dokument aus? Nicht dass nacher meine ganze Seite ausm Index fliegt...
Robots.txt richtig einbauen
Verfasst: 02.02.2006, 19:49
von Wirths Media
Verfasst: 02.02.2006, 20:09
von hobbyweb
OK danke, nur um nochmal sicherzugehen.
Um eine Datei vor den Spidern zu schützen muss die robots.txt so aussehen, richtig?
User-agent: *
Disallow: /directory/datei.html
Die Datei speichere ich dann in einer ganz normalen .txt und uploade sie in den Ordner wo meine Seite liegt, soweit richtig?
edit: Nochwas, wenn eine Datei bereits bei Google indexiert ist, ich diese dann jetzt aber ab jetzt mit der robots.txt aussperre, wird das html-Dokument dann nach einiger Zeit automatisch aus Google entfernt?
Robots.txt richtig einbauen
Verfasst: 02.02.2006, 20:32
von Pompom
Richtig.
Ole1210,
so brauchst du dich nicht wundern, wenn der googlebot nicht auf dich hört.
Jeder Bot ist zufrieden, wenn er sequenziell gelesen einen Eintrag findet,
auf den er hören kann.
Der Googlebot hört auch auf User-agent: * weshalb ihn der Rest nicht interessiert.
Richtig ist also diese Reihenfolge:
User-agent: googlebot
Disallow: /pfad/weissdergeier/bloedehtmlseiteohnegoogle.html
User-agent: *
Disallow: /pfad/weissdergeier/bloedehtml.html
Robots.txt richtig einbauen
Verfasst: 02.02.2006, 20:36
von hobbyweb
Muss ich den Google-Bot jetzt mit "User-agent: googlebot" nochmal extra aussperren oder nicht?
Robots.txt richtig einbauen
Verfasst: 02.02.2006, 20:37
von Wirths Media
nein
kann nur etwas dauern, biss er sie beachtet...
Robots.txt richtig einbauen
Verfasst: 02.02.2006, 20:42
von hobbyweb
OK, kann ich eine Unterseite von mir denn irgendwie manuell aus Google entfernen? Bzw. wie lange dauert das denn i.d.R.?
Robots.txt richtig einbauen
Verfasst: 02.02.2006, 20:58
von Wirths Media
Verfasst: 03.02.2006, 16:20
von ole1210
@ pompom
Erfahrungsgemäß ist es egal, in welcher Reihenfolge die Robots angesprochen werden.
Sicher ist, das der googlebot separat angesprochen werden sollte, da er sich häufig nicht an * hält.
