in den FAQs von Findalogic wurde ich erst darauf gebracht: damit Google in der Suchfunktion im Shop nicht unnötig viele Anfragen verursacht (die ja zudem Geld kosten) und eigentlich nicht viel bringen, würde ich diese gerne für die Robots sperren.
Hat jemand eine Ahnung wie?
heißt ich sperre alles, was mit der Domain beginnt, gefolgt von einer beliebigen Zeichenfolge, dann der Zeichenkette WebActionArticleSearch und dann wieder einer beliebigen Zeichenfolge.
Du brauchst jetzt nicht den oben angegebenen String testen, wenn der einen Syntaxfehler auslöst, sondern nur ob Deine anderen Seiten mit oder ohne Query nicht beeinträchtigt werden. Wenn die robots.txt richtig ist, so findest Du später in der Übersicht unter Diagnose -> Crawling-Fehler die gesperrten Seiten aufgelistet. Die robots.txt ist aber richtig, falls da nicht bereits sich widersprechende Einträge vorhanden sind.