Seite 1 von 1
Spezielle robots.txt möglich?
Verfasst: 05.05.2008, 11:34
von --Andy--
Hallo
Hab noch nicht viele Erfahrungen mti der robots gemacht, was auch diese Frage unterstreicht:
Aktuell ist eine zweite Domain in den SERPs, weil die htaccess noch nciht gegreift hat. Weiterleitungen sind jetzt drin. Da ich nciht solange warten möchte, bis Google und Co diese automatisch rausnehmen, möchte ich nachhelfen.
Kann ich per robots.txt auch eine ganze Domain zen Zugriff verbieten?
Funktioniert bspw. der Code:
, sodass domain.com indiziert werden kann?
Verfasst:
von
Content Erstellung von
ABAKUS Internet Marketing
Ihre Vorteile:
- einzigartige Texte
- suchmaschinenoptimierte Inhalte
- eine sinnvolle Content-Strategie
- Beratung und Umsetzung
Jetzt anfragen:
0511 / 300325-0
Verfasst: 05.05.2008, 11:38
von seo007
wenn diese mit einem redirect weitergeleitet wird ist es doch egal oder stell einen löschantrag bei google
Re: Spezielle robots.txt möglich?
Verfasst: 05.05.2008, 11:43
von SISTRIX
--Andy-- hat geschrieben:sodass domain.com indiziert werden kann?
Wie soll Google die 301-Weiterleitung auf der Domain erkennen, wenn er sie nicht crawlen darf?
Gruß,
Johannes
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 05.05.2008, 11:53
von --Andy--
Deshalb ja meine Frage. Die robots.txt gilt (wenn nicht explizit per htacces oder im ProviderBackend vorgesehen) doch für alle Domains. Mal angenommen es gibt keine Weiterleitungen und nix.
Wahrscheinlich ist mein Code oben Quatsch, oder?
Sonst hätte man einfaches Spiel.
Code: Alles auswählen
Disallow: http://www.domain.com
Disallow: http://www.domain.de/kontakt/
Verfasst: 05.05.2008, 12:06
von grossy
die robot gilt für den jeweiligen webspace, hat also mit der domain erstmal nix zu tun.
mit der robots.txt irgend eine Löschung zu beschleunigen, wird nicht so recht funtionieren. Ich nehme an, die Seiten bleiben erstmal mehr oder weniger im Index.
Was schneller geht (Stunden) ist die Löschung über die google Webmaster-Tools.
Re: Spezielle robots.txt möglich?
Verfasst: 05.05.2008, 12:09
von xoni
In den Webmaster-Tools steht über robots.txt:
Die "robots.txt"-Datei legt Einschränkungen für die Robots (Suchroboter) der Suchmaschinen, die das Internet crawlen, fest. Robots sind automatisierte Systeme, die vor dem Zugriff auf die Seiten einer Website prüfen, ob der Zugriff auf bestimmte Seiten möglicherweise durch die Datei "robots.txt" gesperrt ist.
Sie benötigen die Datei "robots.txt" nur, wenn Ihre Website Content enthält, der nicht von den Suchmaschinen indiziert werden soll. Falls Ihre gesamte Website in die Suchmaschinen-Indizes aufgenommen werden soll, können Sie auf die Datei "robots.txt" verzichten.
Eine "Sperrung" der Domain ist mit Hilfe der robots.txt meiner Meinung nicht zu realisieren.
EDIT: Sorry, da war ich wohl zu langsam
Gruß, wollbay
Verfasst: 05.05.2008, 12:16
von --Andy--
grossy hat geschrieben:die robot gilt für den jeweiligen webspace, hat also mit der domain erstmal nix zu tun.
mit der robots.txt irgend eine Löschung zu beschleunigen, wird nicht so recht funtionieren. Ich nehme an, die Seiten bleiben erstmal mehr oder weniger im Index.
Was schneller geht (Stunden) ist die Löschung über die google Webmaster-Tools.
Prinzipiell klar, aber wenn der Webspace für alle Domains gilt, und die robots.txt dort im Root liegt, ist sie ja ach bei Aufruf domain.de/robots.txt und domain.com/robots.txt identisch.
Für die Löschung über die WMT muss ich eine robots.txt anlegen. Und deshalb kam mir der Gedanke, bevor ich alle Seiten (bzw. beide Domains) aus dem Index nehme, dass ich den Zugriff für einzelne Domains verweigere. Aber wie es ausschaut, ist der Code nicht zulässig?
Verfasst: 05.05.2008, 13:18
von lxg
Mach in der .htaccess eine Weiterleitung von robots.txt auf robots.txt.php (o.ä.). Die robots.txt.php enthält dann eine Weiche, die abhängig von dem aufgerufenen Hostnamen die Regeln ausgibt.
Beispiel
Verfasst: 05.05.2008, 13:24
von lxg
Mal ein Beispiel aus der Praxis:
.htaccess (folgendes hinzufügen)
robots.txt.php
Code: Alles auswählen
<?php
header('Content-Type: text/plain');
if ('www.example.net == '$_SERVER['SERVER_NAME'])
echo <<<HEREDOC
User-agent: *
Disallow: /
HEREDOC;
elseif ('www.example.com == '$_SERVER['SERVER_NAME'])
echo <<<HEREDOC
User-agent: Slurp
Crawl-delay: 10
User-Agent: msnbot
Crawl-Delay: 10
HEREDOC;
?>
Verfasst: 05.05.2008, 13:30
von Southmedia
Aber wie es ausschaut, ist der Code nicht zulässig?
Nein ist er nicht.
Ich würde an deiner Stelle einfach abwarten. Eine Domain per WMT/robots.txt rauszukicken macht ja jegliche 301-Anstrengung wieder kaputt und sinnlos.
Verfasst: 05.05.2008, 14:21
von --Andy--
Southmedia hat geschrieben:Aber wie es ausschaut, ist der Code nicht zulässig?
Nein ist er nicht.
Ich würde an deiner Stelle einfach abwarten. Eine Domain per WMT/robots.txt rauszukicken macht ja jegliche 301-Anstrengung wieder kaputt und sinnlos.
Danke, endlich hat mal jemand die Frage beantwortet. Mehr wollte ich gar nicht wissen
Ja, in meinem Fall ist es dann wohl sinnvoller alles rauszukicken und neu zu starten. Die Seite ist nicht wichtig, nur die Domain darf nicht kommuniziert werden. Bis Google das mal hinbekommen hat ...
Danke Dir!
