Wie ganzen Seiten sperren?

Beitrag von **Gretus** » 18.02.2007, 21:07

Hallo,

ich habe mal eine kurze Frage. Das Thema ist schon unzählige Male im Forum angesprochen worden, aber ich konnte nichts entsprechendes finden...

Bei meiner Seite tauchen immer wieder Seiten im Index auf, die ich gerne sperren würde. Es sind die einzelnen HTML-Seiten, die normalerweise eingebunden werden und z.B. als https://www.beispiel.de/index.php?page=kontakt auftauchen. Die einzelne Seite https://www.beispiel.de/kontakt.html soll nicht im Index auftauchen...

Wie sperre ich jetzt nur besagte Seiten in der robots.txt?

Disallow: /kontakt.html
Disallow: https://www.beispiel.de/kontakt.html
Disallow: /https://www.beispiel.de/kontakt.html

Wenn ich die erste Variante nehme, wird die Datei doch überhaupt nicht mehr angezeigt, dann soll man keine ganzen Urls in der robots.txt abgeben, und die Dritte Möglichkeit sieht irgendwie blöd aus...

Weiß jemad einen Rat?

Grüße

Gretus

von **Anzeige von ABAKUS** »

Beitrag von **chrizz** » 18.02.2007, 21:13

sobald die seiten von ausserhalb verlinkt sind, werden sie auch mitunter im index auftauchen. da hilft dann auch die robots.txt wenig.
aber:
1) ich glaube variante 1 ist die richtige!
2) packe in deine kontakt.html den meta tag robots=noindex
<META NAME="ROBOTS" CONTENT="NOINDEX">
guckst du hier

sollte es nicht klappen bleibt noch die radikallösung der htaccess. aber eigentlich reicht das noindex.

viel erfolg

Beitrag von **shapeshifter** » 18.02.2007, 21:19

ordentlich proggen - dann passiert sowas nicht.......

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Gretus** » 19.02.2007, 15:23

Hi Shifti

,

schon klar. Aber wenn es nun mal passiert ist?

Grüße

Gretus

Beitrag von **chrizz** » 19.02.2007, 15:45

hab ich hier jetzt was falsch verstanden? was hat denn das mit ordentlich proggen zu tun? das ist doch unabhängig davon, ob ne seite im index auftaucht oder nicht...?

Beitrag von **Gretus** » 19.02.2007, 21:17

Hallo,

kann sonst noch jemand die Vermutung von chrizz bestätigen? Ich habe Sorge, dass dann die Seiten gar nicht mehr gecrawlt werden

Grüße

Gretus

Beitrag von **Kristian** » 19.02.2007, 21:37

Hallo

https://www.robotstxt.org/wc/norobots-rfc.html bestätigt es

Gruss
Kristian

Beitrag von **Gretus** » 19.02.2007, 22:19

Hallo,

kann jetzt nichts finden, was genau mein Problem betrifft. Der Mann spricht auch gar nicht meine Sprache, habe ich festgestellt

Grüße

Gretus

Beitrag von **Gretus** » 20.02.2007, 20:30

Moin,

ich poste den Thread noch einmal nach oben. Ehrlich gesagt werde ich aus dem Text nicht wirklich schlau

Grüße

Gretus

Beitrag von **chrizz** » 20.02.2007, 22:06

so mal hier im forum nach noindex
da wirste ziemlich viel zu finden. wenn du im header die noindex angabe machst, dan wird die seite auch nicht im index erscheinen.

Beitrag von **Gretus** » 20.02.2007, 23:19

Hi,

die Seite soll ja auftauchen, nur eben nicht für sich...

Grüße

Gretus

Beitrag von **chrizz** » 20.02.2007, 23:28

also hast du die seite irgendwo eingebunden oder wie?`irgendwie versteh ich nicht ganz wo rauf das hinausläuft....
sorry...zu spät und keen kaffee....

Beitrag von **Anonymous** » 20.02.2007, 23:39

hier, da hab ich mal die Unterschiede zwischen der robots.txt und dem nofollow metatag erläutert:

https://www.martins-meinung.de/2007/01/ ... wirkungen/