Spezielle robots.txt möglich?

Beitrag von **--Andy--** » 05.05.2008, 11:34

Hallo

Hab noch nicht viele Erfahrungen mti der robots gemacht, was auch diese Frage unterstreicht:

Aktuell ist eine zweite Domain in den SERPs, weil die htaccess noch nciht gegreift hat. Weiterleitungen sind jetzt drin. Da ich nciht solange warten möchte, bis Google und Co diese automatisch rausnehmen, möchte ich nachhelfen.

Kann ich per robots.txt auch eine ganze Domain zen Zugriff verbieten?

Funktioniert bspw. der Code:

Code: Alles auswählen

Disallow&#58; http&#58;//www.domain.de

, sodass domain.com indiziert werden kann?

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **seo007** » 05.05.2008, 11:38

wenn diese mit einem redirect weitergeleitet wird ist es doch egal oder stell einen löschantrag bei google

Beitrag von **SISTRIX** » 05.05.2008, 11:43

--Andy-- hat geschrieben:sodass domain.com indiziert werden kann?

Wie soll Google die 301-Weiterleitung auf der Domain erkennen, wenn er sie nicht crawlen darf?

Gruß,
Johannes

von **Anzeige von ABAKUS** »

Beitrag von **--Andy--** » 05.05.2008, 11:53

Deshalb ja meine Frage. Die robots.txt gilt (wenn nicht explizit per htacces oder im ProviderBackend vorgesehen) doch für alle Domains. Mal angenommen es gibt keine Weiterleitungen und nix.

Wahrscheinlich ist mein Code oben Quatsch, oder?
Sonst hätte man einfaches Spiel.

Code: Alles auswählen

Disallow&#58; http&#58;//www.domain.com
Disallow&#58; http&#58;//www.domain.de/kontakt/

Beitrag von **grossy** » 05.05.2008, 12:06

die robot gilt für den jeweiligen webspace, hat also mit der domain erstmal nix zu tun.
mit der robots.txt irgend eine Löschung zu beschleunigen, wird nicht so recht funtionieren. Ich nehme an, die Seiten bleiben erstmal mehr oder weniger im Index.
Was schneller geht (Stunden) ist die Löschung über die google Webmaster-Tools.

Beitrag von **xoni** » 05.05.2008, 12:09

In den Webmaster-Tools steht über robots.txt:

Die "robots.txt"-Datei legt Einschränkungen für die Robots (Suchroboter) der Suchmaschinen, die das Internet crawlen, fest. Robots sind automatisierte Systeme, die vor dem Zugriff auf die Seiten einer Website prüfen, ob der Zugriff auf bestimmte Seiten möglicherweise durch die Datei "robots.txt" gesperrt ist.

Sie benötigen die Datei "robots.txt" nur, wenn Ihre Website Content enthält, der nicht von den Suchmaschinen indiziert werden soll. Falls Ihre gesamte Website in die Suchmaschinen-Indizes aufgenommen werden soll, können Sie auf die Datei "robots.txt" verzichten.

Eine "Sperrung" der Domain ist mit Hilfe der robots.txt meiner Meinung nicht zu realisieren.

EDIT: Sorry, da war ich wohl zu langsam

Gruß, wollbay

Beitrag von **--Andy--** » 05.05.2008, 12:16

grossy hat geschrieben:die robot gilt für den jeweiligen webspace, hat also mit der domain erstmal nix zu tun.
mit der robots.txt irgend eine Löschung zu beschleunigen, wird nicht so recht funtionieren. Ich nehme an, die Seiten bleiben erstmal mehr oder weniger im Index.
Was schneller geht (Stunden) ist die Löschung über die google Webmaster-Tools.

Prinzipiell klar, aber wenn der Webspace für alle Domains gilt, und die robots.txt dort im Root liegt, ist sie ja ach bei Aufruf domain.de/robots.txt und domain.com/robots.txt identisch.

Für die Löschung über die WMT muss ich eine robots.txt anlegen. Und deshalb kam mir der Gedanke, bevor ich alle Seiten (bzw. beide Domains) aus dem Index nehme, dass ich den Zugriff für einzelne Domains verweigere. Aber wie es ausschaut, ist der Code nicht zulässig?

Beitrag von **lxg** » 05.05.2008, 13:18

Mach in der .htaccess eine Weiterleitung von robots.txt auf robots.txt.php (o.ä.). Die robots.txt.php enthält dann eine Weiche, die abhängig von dem aufgerufenen Hostnamen die Regeln ausgibt.

Beitrag von **lxg** » 05.05.2008, 13:24

Mal ein Beispiel aus der Praxis:

.htaccess (folgendes hinzufügen)

Code: Alles auswählen

RewriteRule ^robots.txt$ /robots.txt.php &#91;L&#93;

robots.txt.php

Code: Alles auswählen

<?php
header&#40;'Content-Type&#58; text/plain'&#41;;

if &#40;'www.example.net == '$_SERVER&#91;'SERVER_NAME'&#93;&#41;
echo <<<HEREDOC
User-agent&#58; *
Disallow&#58; /
HEREDOC;

elseif &#40;'www.example.com == '$_SERVER&#91;'SERVER_NAME'&#93;&#41;
echo <<<HEREDOC
User-agent&#58; Slurp
Crawl-delay&#58; 10

User-Agent&#58; msnbot
Crawl-Delay&#58; 10
HEREDOC;

?>

Beitrag von **Southmedia** » 05.05.2008, 13:30

Aber wie es ausschaut, ist der Code nicht zulässig?

Nein ist er nicht.

Ich würde an deiner Stelle einfach abwarten. Eine Domain per WMT/robots.txt rauszukicken macht ja jegliche 301-Anstrengung wieder kaputt und sinnlos.

Beitrag von **--Andy--** » 05.05.2008, 14:21

Southmedia hat geschrieben:
Aber wie es ausschaut, ist der Code nicht zulässig?
Nein ist er nicht.

Ich würde an deiner Stelle einfach abwarten. Eine Domain per WMT/robots.txt rauszukicken macht ja jegliche 301-Anstrengung wieder kaputt und sinnlos.

Danke, endlich hat mal jemand die Frage beantwortet. Mehr wollte ich gar nicht wissen

Ja, in meinem Fall ist es dann wohl sinnvoller alles rauszukicken und neu zu starten. Die Seite ist nicht wichtig, nur die Domain darf nicht kommuniziert werden. Bis Google das mal hinbekommen hat ...

Danke Dir!