whois.domaintools.com DC Problem
Verfasst: 16.03.2009, 19:57
Hey ho,
vielleicht bin ich ja nicht der Einzige, der Betroffen ist: Eine meiner Seiten hat massive Duplicate Content Probleme, auf domaintools.com gibt es eine Funktion, die sich "SEO Text Browser" nennt - eigentlich eine coole App, leider "saugt" sie wie ein Webproxy sämtliche Inhalte auf und stellt sie auf der Page dar.
Syntax ist: https://whois.domaintools.com/domain.de
rechts in der sidebar ist eine Funktion, die so heisst, sie stellt die gesamte Website als "Text only" dar.
Frage: Kann man den Bot aussperren? Wie heisst der Bot, bzw User Agent? Ich will kein "if bot != google, yahoo, msn == noindex, nofollow" einbauen (außerdem geht das nicht, die Webseite stellt den Inhalt nicht alleine dar, sondern benutzt ein DIV dazu), würde lieber den bot per robots oder php aussperren. Auf meine Anfrage hin habe ich vom Betreiber keine Antwort bekommen. In den SERPs rankt das Ding oft vor meiner eigenen Seite (durch meinen Text, klar), was sehr ärgerlich ist.
Suggestions?
vielleicht bin ich ja nicht der Einzige, der Betroffen ist: Eine meiner Seiten hat massive Duplicate Content Probleme, auf domaintools.com gibt es eine Funktion, die sich "SEO Text Browser" nennt - eigentlich eine coole App, leider "saugt" sie wie ein Webproxy sämtliche Inhalte auf und stellt sie auf der Page dar.
Syntax ist: https://whois.domaintools.com/domain.de
rechts in der sidebar ist eine Funktion, die so heisst, sie stellt die gesamte Website als "Text only" dar.
Frage: Kann man den Bot aussperren? Wie heisst der Bot, bzw User Agent? Ich will kein "if bot != google, yahoo, msn == noindex, nofollow" einbauen (außerdem geht das nicht, die Webseite stellt den Inhalt nicht alleine dar, sondern benutzt ein DIV dazu), würde lieber den bot per robots oder php aussperren. Auf meine Anfrage hin habe ich vom Betreiber keine Antwort bekommen. In den SERPs rankt das Ding oft vor meiner eigenen Seite (durch meinen Text, klar), was sehr ärgerlich ist.
Suggestions?
