robots.txt u. Einstellungen der Url-Parameter in Webmasterto

[grazka]

Ich bin eher Laie und Suche nach Hilfe von Erfahrenen.
Habe seit etwa 4 Wochen ein Problem Google liest veraltete Seiten und Seiten, die nicht gelesen werden sollen und auch früher nicht gelesen wurden. Das kann evtl. mit versehentlichen Einreichung von veralteten Sitemap zu tun. Seitdem sind sämtliche Positionen verlorengegangen.
Meine Fragen:
1. welche Zugrifsrechte muss die robots.txt Datei haben, damit Google sie beachtet?
2. wie sollen URL-Parameter in Webmastertool eingestellt werden, habe nicht wirklich Ahnung zB. currency, info, cat, gm_boosted_category, gm_boosted_product ?
Bei den Beispiel Urls werden sehr lange Urls mit merkwürdigen Zeichen angezeigt. XTCsid habe ich mit einstellung keine Urls, ich hoffe das ist richtig.

Ich hoffe sehr auf eure Hilfe.

[Sciencefreak]

1. Wenn die robots.txt im Stammverzeichnis liegt und von außen erreichbar ist, kann auch der Bot sie lesen.

2. Bei den URL-Parametern ist Vorsicht geboten. Falsche Einstellungen können dazu führen, dass viele Unterseiten aus dem Index fliegen und von Google ignoriert werden. Die richtigen Einstellungen können dagegen benutzt werden, um doppelten Content zu vermeiden oder unerwünschte Seiten aus dem Index rauszuhalten. Ohne zu wissen, was der jeweilige Parameter macht, ist das mit den konkreten Tipps aber ziemlich schwierig.

[grazka]

Ok, danke. Also konkrette Aussagen bezüglich URl-Parameter lassen sich so nicht treffen? Was soll ich dann machen, damit die Einstellungen nicht verkehrt sind. Die ganze Liste habe ich bereits im Webmastertool und irgendwelche Voreinstellungen sind getroffen. Ich habe sie nicht gemacht, wurden sie von Google selbst voreingestellt und soll man sie so lassen oder lieber alle Parameter zurücksetzen? Wenn ich sie zurücksetze, was passiert dann? Ich habe zb. bei dem Parameter info Voreinstellung jede Url, das scheint mir etwas merkwürdig zu sein. Den Paraneter Xtcsid habe ich als keine Url eingestellt (war vorher stellvertetende Url) und Google hat jede Unterseite mehrmals gelesen oder jede Unterseite mit ständig anderer Url (mit den komischen Zeichen in URL). Seit der Umstellung hat sich leider nicht viel geändert oder braucht Google sehr lange, um so was umzusetzen?

Ich wäre dankbar, wenn mir jemand das genauer erklären kann.

Bei robots.txt Datei habe ich 444-Zugriff. Das dürfte richtig sein?

[Sciencefreak]

nein ohne den Zweck eines bestimmten Parameters zu kennen, kann man nicht sagen, ob es sinnvoll ist, ihn von Google erfassen oder ignorieren zu lassen.

Ein paar Anhaltspunkte findest du vielleicht im Menüpunkt "Darstellung der Suche" unter "HTML-Verbesserungen". Wenn da viele Einträge mit doppelten Metabeschreibungen oder Title-Tags aufgelistet werden, kann das darauf hindeuten, dass ein Parameter berücksichtigt wird, der besser ignoriert werden sollte. zB Parameter, die nur die Reihenfolge von Suchergebnissen verändern oder sowas. Google gibt ja auch die Möglichkeit zu beschreiben, was genau der Parameter macht.

Wenn du die Parameter zurücksetzt, dann entscheidet Google selbst, ob und wie ein Parameter berücksichtigt wird. Es kann durchaus ein paar Tage dauern, bis Google die Veränderungen in den Webmastertools anzeigt.

[grazka]

Ein paar Anhaltspunkte findest du vielleicht im Menüpunkt "Darstellung der Suche" unter "HTML-Verbesserungen". Wenn da viele Einträge mit doppelten Metabeschreibungen oder Title-Tags aufgelistet werden, kann das darauf hindeuten, dass ein Parameter berücksichtigt wird, der besser ignoriert werden sollte.

Dort eben bin ich erst auf diese komische Urls aufmerksam geworden, es gibt recht viele.

Google gibt ja auch die Möglichkeit zu beschreiben, was genau der Parameter macht.

Wie meinst du das?

Leider kenne ich mich mit den Parametern nicht aus und weiss auch nicht wofür die sind. Hat jemand vielleicht Ahnung und würde sie durchgehen, natürlich nicht ganz unentgeltlich. Es handelt sich um ein Gambio-shop.

[Kristian]

Ein Gambio ist doch auch "nur" ein XTC.
Wenn die Session-ID ( Xtcsid) noch drin war, jau, dann hast du viele Seiten doppelt.
Abbau ist schwer für Google, da die Seiten ja noch aufrufbar sind.
Seltsame Zeichen? Du meinst irgendwas, das aus 32 Zeichen besteht, vornehmlich A-F und 0-9 ?
Jep, das sind die Session-IDs.
444 für die robots.txt ist zur Not ok, so kann sie jeder lesen, aber unlogisch ist es schon; bei 644 kann der Besitzer die Datei auch beschreiben.

[grazka]

Ok, dann ändere ich auf 644.

Diese XTCsid Parameter habe ich bereits vor 2Wochen rausgenommen, gebracht hat bisher leider nix.

[grazka]

Hier ein Beispiel der Url mit der shop gelistet wird:
https://www.brautmode-abendkleider.de/i ... 9i2sdrig57

Ist das der Parameter XTCsid oder auch gm_boosted_category?

[Kristian]

zu gm_boosted_category kann ich spontan nichts sagen, die XTCsid ist aber auf jeden Fall da.
Du sagst, du habest die vor 2 Wochen rausgenommen.
IMHO nein, prüfe das nochmal.

[grazka]

Ja, die url-Parameter mit XTCsid sind bereits vor 2 Wochen auf keine Url umgestellt. Vor 2 Tagen habe ich auch in robots.txt Datei aufgenommen.

[grazka]

gm_boosted_category - denke ich bedeuted, dass Google ständig eine andere Seite von der Unterkategorie listet statt nur die erste Seite zu nehmen.
Diesen Parameter habe ich vor Paar Tagen auch auf keine Url umgestellt. Das ist die Frage, ob es richtig ist?

[Kristian]

Ja, die url-Parameter mit XTCsid sind bereits vor 2 Wochen auf keine Url umgestellt. Vor 2 Tagen habe ich auch in robots.txt Datei aufgenommen.

Hast du die robots.txt mal überprüft?
https://support.google.com/webmasters/a ... 6449?hl=de

[grazka]

Hier ist link zu meiner robots.txt datei:
https://www.brautmode-abendkleider.de/robots.txt

Unter Webmastertool - blockierte Urls habe ich getestet, Status 200 Erfolg, blockiete Urls 6094, aber wenn man auf das Fragezeichen neben blockierte Url geht, erscheint das Wort Fehler. Mehr steht dort leider nicht.

Blockierte Urls mit 6094 sind nicht sehr viel, wenn beim Parameter XTCsid über 130.000 Urls steht.

Heute ist Googleboot wieder durchgelaufen und leider werden unter HTml-Verbesserungen wieder alle Urls mit Xtcsid angezeigt.
Irgendwas fuktioniert nicht richtig.

[grazka]

Ich habe jetzt die doppelten Meta-Beschreibungen unter Html-Verbesserungen teilweise durchgeschaut und muss dazu sagen, dass Google dort links anzeigt, deren Meta-Daten bereits geändert wurden. Dh. Google-Boot scheint die seite nicht ganz oder gar nicht durchgegangen zu haben und hat keine aktuellen Daten.
Unter Crawling-Fehler-Abruf von robots.txt steht immer noch diese Meldung:
Der Googlebot konnte nicht auf Ihre "robots.txt"-Datei zugreifen und hat das Crawling Ihrer Website vorsichtshalber verschoben, damit auf keinen Fall nicht zugelassene Seiten gecrawlt werden.

Diese Meldung widerspricht wiederum dem Erfol-Status.

Ich verstehe das ganze nicht, bitte um Hilfe.

[grazka]

Beim testen der robots.txt datei erscheint eine Meldung:
Zugelassen
Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.

Das verstehe ich leider nicht, was ist damit gemeint?