robots.txt

[workershop]

Hallo an alle.

Was kann ich machen, damit sich Google an die Robots.txt hällt.

Ich habe immer noch das Problem, das Google unsere Startseite ignoriert und unter den Suchkeywords den Warenkorb oder das Kundenkonto anzeigt:
https://ssl.kundenserver.de/ Domain/shopping_cart.php und
https://ssl.kundenserver.de/ Domain/account.php

Ich habe die Dateien eigentlich in der robots.txt gesperrt, aber Google hällt sich nicht daran.

Ich weis schon nicht mehr, was ich noch machen soll, damit Google die Startseite listet, da die doch auf unser Hauptkeyword optimiert ist.

[11th]

-][- 11th -][-

Bei Google gibt es für SEO´s einen Link zur ner Seite die Dir das genau erläutert.

Einfach mal Google in den SEO Teil wechseln

[Fox Mulder]

Hi,

schau Dir mal die Beispiele hier an:
https://www.robotstxt.org/wc/norobots.html

Das sieht bei Dir anders aus. Würde auf jedenfall mal den beginnenden "/ " vor jedem Dateinamen einfügen , eventuell ist es das schon.

Gruss

[Moddy]

die Robots.txt kannste löschen, Google ignoriert die Robots.txt auf https Servern

(hab ich mal gelesen)

Edit: undzwar genau Hier kann aber sein das es schon gefixt wurde. Steht da auch aber bei google weiß man nie so recht

[workershop]

@Moddy

Die robots.txt liegt doch nicht auf dem https Server sondern auf unseren Normalen. Das sind doch bloß die Links der Suchergebnisse die Google anzeigt.

[d0nut]

sry, wenn ich den thread mal mitbenutze... wollte nicht extra einen neuen thread aufmachen:

warum wird meine robots.txt missachtet?
https://www.oportus.de/robots.txt

User-agent: *
Disallow: /out/

Sie existiert schon seit die Domain existiert.. wurde nie geändert.. danke für eure ideen

[Pompom]

Schreibe mal das
User-agent: *
Disallow: /out/
an das Ende der robots.txt.

Die Robots sollen sich normalerweise über den ersten Eintrag freuen, der für sie bestimmt ist.
Nicht alle nehmen dies oder die robots.txt ernst.

[d0nut]

hm.. ganz anderer ansatz.. was ist eigentlich die robots.txt
bisher dachte ich google würde den links ins verzeichnis /out/ nicht mehr folgen

oder ist folgendes korrekt
wenn ich /out/ sperre, dann spidert google die seite dennoch und nimmt sie ohne description in den index auf?

da sich im verzeichnis /out/ nur weiterleitungen befinden fehlt die description so oder so..

[janedoe]

@workershop

kann es evtl. sein dass du mit deiner robot.txt keine seiten und verzeichnisse auf anderen domains ausschliessen kannst? stell dir vor was wäre wenn das ginge...

cu janedoe

[workershop]

@ janedoe

Ich sperre doch keine anderen Seiten und Verzeichnise auf anderen Domains.

Unsere Domain ist www.erotikversand69.de und bei Google wird beim Hauptkeyword nicht dieser Link angezeigt, sondern 2 SSL-Verschlüsselte: https://ssl.kundenserver.de/ erotikversand69.de/account.php und https://ssl.kundenserver.de/ erotikversand69.de/shopping_cart.php

und das ist doch unlogisch, das er nicht die Startseite anzeigt, sondern irgendwelche verschlüsselten Konto oder Warenkorbseiten.


@ Fox Mulder
Ich habe das gemacht, mit dem / vor den Dateien, doch nach dem Durchlauf gestern, hatt er wieder die 2 gleichen gesperrten Links angezeigt. Google hällt sich also nicht an unsere robots.txt.
Ich weis nicht, was ich da noch machen soll.

[janedoe]

du sperrst die dateien natürlich nicht auf anderen domains. solange du in deinem shop aber links auf ssl.kundenserver.de setzt werden diese links als extern behandelt und deswegen wird die robot.txt ignoriert weil sie ja dort nicht ist...
check it out https://ssl.kundenserver.de/robot.txt

cu janedoe

[Fox Mulder]

Hallo,

ich würde mal die robots.txt hier nehmen:
https://ssl.kundenserver.de/erotikversa ... robots.txt

Gruss

[janedoe]

hallo,

ich kann mich natürlich irren, aber wenn ich die zeilen hier: https://www.robotstxt.org/wc/norobots.html#method richtig deute muss die robot.txt im root verzeichnis der domain untergebracht sein und ich denke das tut sie in diesem fall nicht. der eigentliche pfad zu den auszuschliesenden datein wäre dann ja eigentlich auch z.B /erotikversand69.de/account.php . aber wie gesagt... ich kann mich auch irren.

cu janedoe

[workershop]

Die robots.txt liegt im Rootverzeichnis vom Server.

[janedoe]

beim erotikversand "ja" beim kundenserver "nein". ich denke das sind 2 verschiedene paar schuhe, jedenfalls für die spider. ich denke wenn du deine eigene domain via ssl ansprechen würdest, hättest du das problem nicht (vorausgesetzt natürlich dass es nicht doch noch ein generelles problem mit https servern gibt). dafür bräuchtest du aber ein eigenes zertifikat und das kostet eweng was, wenn dein vertrag keins beinhaltet. hast du schon mal versucht die jungs direkt in der jeweiligen datei durch meta angaben auszusperren?

cu janedoe