Seite 1 von 1

robots.txt gesperrt, schlechteres Ranking

Verfasst: 13.03.2013, 19:13
von maxfragtmal
Hallo,

ich habe mit einer Seite gute Rankings. Allerdings wollte ich jetzt (damit man in der robots.txt nicht sieht welches cms) die Inhalte der robots.txt verstecken.

Dies machte ich in der .htaccess mit

<files robots.txt>
order allow,deny
deny from all
</files>

Jetzt rutschte das Hauptkeyword ins nirvana ab.

Logisch oder nicht?

euer
max.

Verfasst:
von

Re: robots.txt gesperrt, schlechteres Ranking

Verfasst: 13.03.2013, 20:17
von Melegrian
Nicht ganz logisch, wie hast Du das gemeint?

Bin damit nicht so bewandert, doch wenn ich im Web suche oder im Buch nachschlage, dann liest sich da für mich so, als würdest Du in der ersten Zeile allen den Zugriff gestatten und in der zweiten wieder allen, einschließlich der Suchmaschinen, den Zugriff verweigern?
maxfragtmal hat geschrieben:Dies machte ich in der .htaccess mit

<files robots.txt>
order allow,deny
deny from all
</files>
Ich denke es müsste in etwa so aussehen:

Code: Alles auswählen

<files robots.txt>
order allow,deny
allow from all
deny from ... die Du verbieten möchtest aufführen
</files>
Ich würde es ohnehin gänzlich lassen, eine robots.txt, die nicht erreichbar ist, die ist so gut wie gar keine robots.txt.

Irgendwann werde ich das wohl auch mal testen, doch vorläufig habe ich das erst einmal so verstanden, braucht aber nicht richtig zu sein:

Code: Alles auswählen

order deny,allow  => Reihenfolge festlegen
deny from all     => diese werden alle abgewiesen
allow from ...    => nur diesen wird der Zugriff gewährt

Code: Alles auswählen

order allow,deny  => Reihenfolge festlegen
allow from all    => all diesen wird der Zugriff gestattet
deny from ...     => und diesen verweigert
Somit könnte eigentlich nur das unterste funktionieren (nach meinen gegenwärtigen Verständnis) und da müsstest Du für Browser vermutlich noch Umgebungsvariablen setzen, um nur Browsern, jedoch nicht den Suchmaschinen den Zugriff zu verweigern.

https://buecher.lingoworld.de/apache2/showdir.php?id=535

Halte es für ein sinnloses Unterfangen. Selbst wenn es Dir gelingen würde, nur die Browser auszusperren, wer die robots.txt auslesen möchte, weiß auch wie er einen beliebigen User Agent setzt.

Könnte schon sein, wenn die jetzt für alle gesperrt war, dass dadurch die Suchmaschinen nun Seiten eingelesen haben, die sie eigentlich nicht einlesen sollten.

Hier ist es noch einmal gut beschrieben:

https://de.selfhtml.org/servercgi/server ... iche_namen

Verfasst: 13.03.2013, 23:03
von MonikaTS
1. ist es doch schnurzwurschtpiepsegal welches CMS du nutzt

wer einbrechen mag, wird nicht vorher die robots.txt lesen und sucht eh nach anderen Dingen

2. Google ist das auch einfach egal womit du deine Seite machts

also wozu eine robots.txt befüllen, wenn sie dann keiner lesen sollt können? :o

Verfasst: 13.03.2013, 23:16
von nerd
Ohje. Wenn du automechaniker waerst, wuerdest du wahrscheinlich auch erstmal alle teile aus dem auto ausbauen, deren sinn sich dir nicht erschliesst und dich dann wundern warum es nichtmehr faehrt.

Lass die robots.txt so wie sie ist, wenn sie vom CMS angelegt wurde. Die ueber .htaccess zu verbieten mach ueberhaupt keinen sinn.

Re: robots.txt gesperrt, schlechteres Ranking

Verfasst: 14.03.2013, 08:57
von Beloe007
maxfragtmal hat geschrieben:<files robots.txt>
order allow,deny
deny from all
</files>
Dann kannst du sie auch löschen :D

Verfasst: 14.03.2013, 13:17
von luisekuschinski
nerd hat geschrieben:Ohje. Wenn du automechaniker waerst, wuerdest du wahrscheinlich auch erstmal alle teile aus dem auto ausbauen, deren sinn sich dir nicht erschliesst und dich dann wundern warum es nichtmehr faehrt.
Nein, er würde alle Markenembleme abmachen, damit keiner merkt, was für ein Auto er fährt... :roll:

@maxfragtmal: Und Du meinst, jemand könnte das gleiche CMS benutzen und auch so ein gute Ranking haben? Wie Monika schon schrieb, hat das nichts mit dem Werkzeug zu tun... bei solchen Angstpsychosen würde ich meine Websites ganz aus dem Netz nehmen!

Verfasst: 15.03.2013, 16:32
von maxfragtmal
denke für eure Meinungen.

Tatsache ist, nachdem die robots.txt wieder "auffindbar" ist, kommt das keyword wieder in die Regionen um Platz 10.

Fand ich sehr interessant, den Test.

max.