vielleicht bin ich ja nicht der Einzige, der Betroffen ist: Eine meiner Seiten hat massive Duplicate Content Probleme, auf domaintools.com gibt es eine Funktion, die sich "SEO Text Browser" nennt - eigentlich eine coole App, leider "saugt" sie wie ein Webproxy sämtliche Inhalte auf und stellt sie auf der Page dar.
rechts in der sidebar ist eine Funktion, die so heisst, sie stellt die gesamte Website als "Text only" dar.
Frage: Kann man den Bot aussperren? Wie heisst der Bot, bzw User Agent? Ich will kein "if bot != google, yahoo, msn == noindex, nofollow" einbauen (außerdem geht das nicht, die Webseite stellt den Inhalt nicht alleine dar, sondern benutzt ein DIV dazu), würde lieber den bot per robots oder php aussperren. Auf meine Anfrage hin habe ich vom Betreiber keine Antwort bekommen. In den SERPs rankt das Ding oft vor meiner eigenen Seite (durch meinen Text, klar), was sehr ärgerlich ist.
Das ist unwahrscheinlich, dass der SEO Textbrowser DC Probleme verursacht! Wenn du die Seite https://whois.domaintools.com/domain.de mal mit ausgeschalteten Javascript aufrufst, wirst zu sehen das der Textbrwoser gar nicht dargestellt wird und somit auch nicht von einem Bot erfasst werden kann.
Da hast du recht, trotzdem kommt der Bot an die Inhalte ran. Der GBot kann schliesslich auch Javascript lesen, wusstest du das nicht?
Wenn ich nach "Diese Phrase steht nur bei mir auf der Seite und sonst nirgends" suche, dann gibt es genau 2 Ergebnisse und: Die Domaintools Unterseite rankt höher als meine Domain. Schöne Sch**se, ich muß das aus dem Index bekommen.
Welchen Bot? Ein Proxy hat prinzipiell keinen User-Agent und es schaut auch kein Bot vorbei. Du musst deren IP bzw. die IP-Range sperren, dann ist Ruhe...