ABAKUS

Hallo,

ich habe mal eine kurze Frage. Das Thema ist schon unzählige Male im Forum angesprochen worden, aber ich konnte nichts entsprechendes finden...

Bei meiner Seite tauchen immer wieder Seiten im Index auf, die ich gerne sperren würde. Es sind die einzelnen HTML-Seiten, die normalerweise eingebunden werden und z.B. als https://www.beispiel.de/index.php?page=kontakt auftauchen. Die einzelne Seite https://www.beispiel.de/kontakt.html soll nicht im Index auftauchen...

Wie sperre ich jetzt nur besagte Seiten in der robots.txt?

Disallow: /kontakt.html
Disallow: https://www.beispiel.de/kontakt.html
Disallow: /https://www.beispiel.de/kontakt.html

Wenn ich die erste Variante nehme, wird die Datei doch überhaupt nicht mehr angezeigt, dann soll man keine ganzen Urls in der robots.txt abgeben, und die Dritte Möglichkeit sieht irgendwie blöd aus...

Weiß jemad einen Rat?

Grüße

Gretus

sobald die seiten von ausserhalb verlinkt sind, werden sie auch mitunter im index auftauchen. da hilft dann auch die robots.txt wenig.
aber:
1) ich glaube variante 1 ist die richtige!
2) packe in deine kontakt.html den meta tag robots=noindex
<META NAME="ROBOTS" CONTENT="NOINDEX">
guckst du hier

sollte es nicht klappen bleibt noch die radikallösung der htaccess. aber eigentlich reicht das noindex.

viel erfolg

ordentlich proggen - dann passiert sowas nicht.......

Hi Shifti ,

schon klar. Aber wenn es nun mal passiert ist?

Grüße

Gretus

hab ich hier jetzt was falsch verstanden? was hat denn das mit ordentlich proggen zu tun? das ist doch unabhängig davon, ob ne seite im index auftaucht oder nicht...?

Hallo,

kann sonst noch jemand die Vermutung von chrizz bestätigen? Ich habe Sorge, dass dann die Seiten gar nicht mehr gecrawlt werden

Grüße

Gretus

Hallo

https://www.robotstxt.org/wc/norobots-rfc.html bestätigt es

Gruss
Kristian

Hallo,

kann jetzt nichts finden, was genau mein Problem betrifft. Der Mann spricht auch gar nicht meine Sprache, habe ich festgestellt

Grüße

Gretus

Moin,

ich poste den Thread noch einmal nach oben. Ehrlich gesagt werde ich aus dem Text nicht wirklich schlau

Grüße

Gretus

so mal hier im forum nach noindex
da wirste ziemlich viel zu finden. wenn du im header die noindex angabe machst, dan wird die seite auch nicht im index erscheinen.

Hi,

die Seite soll ja auftauchen, nur eben nicht für sich...

Grüße

Gretus

also hast du die seite irgendwo eingebunden oder wie?`irgendwie versteh ich nicht ganz wo rauf das hinausläuft....
sorry...zu spät und keen kaffee....

hier, da hab ich mal die Unterschiede zwischen der robots.txt und dem nofollow metatag erläutert:

https://www.martins-meinung.de/2007/01/ ... wirkungen/