robots.txt

Beitrag von **Michael1967** » 24.11.2005, 21:10

Hallo,

ich habe mal eine Frage.

Wie kann ich über die robots.txt verhindern, dass Google diese Links in den Index aufnimmt?

/modlink-1.html
/modlink-2.html
/modlink-3.html

Das ganz geht bis 3587. Also insgesammt 3587 Links.

von **Anzeige von ABAKUS** »

Beitrag von **Hobby-SEO** » 24.11.2005, 21:20

Hallo Michael,

die Lösung lautet:

User-agent: Googlebot
Disallow: /modlink

Nach dieser robots.txt müsste alles, was mit "modlink" beginnt, vom Indizieren ausgenommen werden. Googlebot versteht im Gegensatz zu anderen Bots aber auch Platzhalter. Folgendes müsste also auch funktionieren:

User-agent: Googlebot
Disallow: /modlink*

Kleine Anmerkung noch: Die URLs werden voraussichtlich trotzdem im Google-Index landen - aber halt ohne Description.

LG, Hobby-SEO

Beitrag von **Michael1967** » 24.11.2005, 21:23

Vielen Dank für die schnelle Antwort.

Das ist echt blöd. Nun habe ich alles doppelt im Google-Index.

Der Link ist zum ändern eines Links gedacht und enthält deswegen den selben Inhalt.

Das mögen die Sumas ja nicht! Oder?

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Hobby-SEO** » 24.11.2005, 21:46

Doppelten Content (1 Inhalt, der über 2 oder mehr URLs aufrufbar ist) mögen SUMAs in der Tat nicht.

Leider verstehe ich folgenden Satz nicht ganz: "Der Link ist zum ändern eines Links gedacht und enthält deswegen den selben Inhalt. "

Kannst Du uns vielleicht etwas genauer mitteilen, was auf Deiner Website so vorgeht?

LG, Hobby-SEO

Beitrag von **Michael1967** » 24.11.2005, 21:58

Ich betreibe einen Webkatalog.

Naja, ich habe Links mit Titel, URL und Beschreibung.

Nun habe ich auf der Profilseite (jeder Link hat ein eigenes Profil/Detailanzeige) noch einen Link, womit man den Eintrag modifizieren kann.

Und auf dieser Seite wird der selbe Inhalt gezeigt, wie er auch auf der Profilseite steht.

Das ist bestimmt nicht gesund *gg* Nun hat Google diese Links schon in den Index aufgenommen. Wie bekomme ich die da wieder raus? 3500 Links über services.google.com zu löschen ist zu aufwändig.

Gibt es noch andere Möglichkeiten?

Beitrag von **Hobby-SEO** » 24.11.2005, 22:22

Naja,

Du könntest den Link zum Modifizieren der Einträge mit dem Attribut rel="nofollow" ausstatten. Würde ich an Deiner Stelle sicher machen.

Darf eigentlich jeder, der sich in Deinen Katalog einträgt, seine Daten selbst modifizieren? Wenn nein, und wenn nur Du als Admin das darfst, würde ich den Link zum Modifizieren sowieso für die Allgemeinheit ausblenden.

Um auf die robots.txt zurückzukommen: Wie sehen die URLs der Profilseiten und der Modifikationsseiten genau aus? Bin ziemlich zuversichtlich, dass auch der Ausschluss über die robots.txt funktioniert - eben weil Google Wildcards in der robots.txt erlaubt.

LG, Hobby-SEO

Beitrag von **Michael1967** » 24.11.2005, 22:34

Ich habe nicht so die Ahnung von diesen Dingen *gg*

Du meinst das so -

Code: Alles auswählen

<a href="http&#58;//www.domain.de/" rel="nofollow">Titel</a>

Das mit dem Modifizieren werde ich wohl komplett herausnehmen. Die Links sind völlig unterschiedlich. Es sollte also kein Problem sein!

Ich danke dir für die schnelle Hilfe.

Beitrag von **Hobby-SEO** » 24.11.2005, 23:01

Michael1967 hat geschrieben:Du meinst das so -
Code: Alles auswählen
<a href="http&#58;//www.domain.de/" rel="nofollow">Titel</a>

Ja, genau so. Verhindert zumindest doppelten Content. Ein interessanter Link zu diesem Thema.

Aber die problematischen Links ganz zu entfernen, ist sicher die bessere Lösung. Wenn Du die URLs zum Modifizieren auch noch änderst, sodass Google beim Aufruf der problematischen Seiten einen 404er erhält, sollten die Seiten auch irgendwann einmal ganz aus dem Index fliegen. Aber das kann Monate dauern.

LG, Hobby-SEO