Google hat ein Problem mit Autority Sites ohne robots.txt

[seonewbie]

Hallo,

nach dem ich jetzt bei mehreren Kunden in den Webmaster Tools war und
da mal nicht uralte Daten angezeigt wurden fand ich eine extreme
Unregeklmässigkeit die mir aufgefallen ist.

Es scheint Domains zugeben die keine robots.txt haben, kein nofollow die
aber von Google enormen Trust haben. Die folge ist das von einer Domain
4000 - 25000 links kommen.

Die Folge des Trust ist das fast alle url der gebende Domain im Index sind.
So kommt es natürlich zu einer unglaublichen Menge an gleichen Anchor
Texten.

Ich dachte jetzt was will Google mir damit sagen? Eigentlich bin ich
da von ausgegangen das pro Domain eh nur ein paar Links zählen.

Jetzt kommt der interessante Teil. Auf eine der gebenden Domains hatte
ich zurgriff und habe mal zum Test eine robots.txt geschrieben und
nofollows gesetzt.

Ergebnis die verlinkte Domain rankte nach einer Woche schon deutlich besser.

Meine Vermutung:

Google hat ein Problem wenn Authority Domains tasusende Links geben
dank schlechter robots.txt. Es scheint ein Art Gewissenskonflikt zu geben.
Entweder muß Google die Authotity Site abwerten oder die Seite schädigt
andere Seite mit zu häufigen Anchor Text. Die goldene Mitte zwischen
den beiden Problemenn scheint für Google zu Zeit schwer zu finden zu sein.

Interessant ist das andere Domains die die selbe Software nutzen aber von
Google wohl zu wenig Trust haben, das hier nur so wie es sein sollte
einige wenige Links angezeigt werden.

Es wäre also durchaus möglich das eine schlecht gemanagte Authority
Site einer Domain viel mehr Schaden zufügt als eine typische Spam Seite.

Es würde mich freuen wenn jemand ähnliches Beobachtet hat oder
mir definitiv sagen kann das ich auf dem Holzweg bin.

[Rem]

So kommt es natürlich zu einer unglaublichen Menge an gleichen Anchor
Texten.

Ich verstehe den Zusammenhang nicht. Robots.txt dient dazu, Content auszuklammern. Per se, hat eine Robots.txt nichts mit Links zu tun.

So wie Du das schilderst gibt es einfach durch die Domain hindurch tausende von "Footer-Links". Es wäre vielleicht geschickter, ein paar Footer-Links zu entfernen, als mit Hilfe der Robots.txt Content-Seiten aus dem Index zu entfernen.

My 2 cents.

Zu den tausenden "Footer-Links": die Footerlinks sind doch problematisch. Und das war schon immer so. Ja, die Beobachtung habe ich auch schon gemacht und verlinke statt 3000 mal nur noch 1 mal auf ein anderes Projekt.

[luzie]

Google hat ein Problem mit Autority Sites ohne robots.txt

Sorry, das ist leider totaler Quatsch.

(Ich bin nicht sicher, ob dir klar ist, was eine robots.txt ist und was sie macht? Eine Site ohne robots.txt gibt an die Suchmaschine das denkbar einfachste Signal: "Bitte crawle alles" - das war's)

[SloMo]

Dazu schädigt eine Authority ganz sicher niemanden mit zu vielen gleichen Anchor Texts - erst recht schädigt sie nicht sich selbst! Authority bedeutet nichts anderes als maximales Vertrauen von Google in die Site. Entweder, Google traut den Links vorbehaltlos, oder es ist halt keine Authority.

Ich hatte das Original-Posting schon vorher gelesen und mir zunächst eine Antwort verkniffen, weil im OP absolut nichts stimmt. Da könnte man lange erklären... es nützt ja nichts, wenn es noch an den simpelsten Grundlagen mangelt, die man sich leicht (mit etwas Zeitaufwand) selbst anlesen kann.

[ElDiablo]

Du kickst also Seiten der "Autority" (würde ich nebenbei immer anzweifeln) aus dem Index um Links zu entwerten? Warum solltest Du das tun?
Werden doppelte Inhalte produziert und angelinkt, dann benutz Canonical Tags oder verhindere erstmal, dass die Seiten entstehen. Etwas zu sperren was internen Linkjuice erhält, ist eher ungünstig. Google schickt quasi Juice rein, darf aber nicht nachsehen, wohin er abfließen soll.

[SEO Blogger]

Für mich macht es auch keinen Sinn.
Es könnte höchstens ein Kriterium geben im Sinne von "Trust", ob eine Robotstxt vorhanden ist und ob sich ein Webmaster darum kümmert, da auch was reinzuschreiben.

[seonewbie]

@luzie
Ich glaube ich habe mich schlecht Ausgedrückt.

Beispiel:

Bei Webseiten mit vernünftiger robots.txt sind folgende Backlinks im Index:

https://www.webdirectory.de/user/eintrag.html
https://www.webdirectory.de/user/profil.html
https://www.webdirectory.de/user/detailseite.html
https://www.webdirectory.de/tags/keyword.html

Also nur die auf denen der User sich eingetragen hat.

Bei Seiten die unstrukturiert sind, meist ohne robots.txt, noindex
oder nofollow arbeiten sehen die Backlinks so aus:

https://www.webdirectory.de/user/eintrag.html
https://www.webdirectory.de/user/profil.html
https://www.webdirectory.de/user/detailseite.html
https://www.webdirectory.de/tags/keyword.html

und zusätzlich noch
https://www.webdirectory.de/user/eintrag.html
https://www.webdirectory.de/user/profil.html
https://www.webdirectory.de/user/detailseite.html
https://www.webdirectory.de/tags/keyword.html
https://www.webdirectory.de/search&keyword?bla
https://www.webdirectory.de/tag&keyword?bla
https://www.webdirectory.de/sitebar
https://www.webdirectory.de/footer
....
da von dann tausende Backlinks alle mit dem selben Inhalt und
logischerweise dem selben Anchor links.

So nun zu meiner Beobachtung. Bei den Spam Domains fliegende
die ganzen & ? raus manchmal bleibt nur eine url, obwohl sie nicht mit nofollow, robots.txt oder noindex
arbeiten. So das diese nicht das Problem sind.

Das Problem sind aber Authority Sites wo die ganzen Schrott url als
Backlinks im Index auftauchen vermutlich weil die Domain genug
Trust hat, so das von Google alles als relevant gesehen wird.

Nun hat man mit einem Eintrag z.b. in einem Webkatalog teilweise
mehrere hundert backlinks alle mit gleichem Inhalt und Anchor.
Der Autority Seite scheint der doppelte Content offensichtlich nicht zu schaden.
Sehr wohl aber der verlinkten Seite.

Das ganze wurde ja auch schon mal am Thema Footer Links
durchgekaut und bestätigt. Ich gehe aber da von aus das
sich das Thema sehr viel weiter erstreckt.

Nach dem ich eine AUthority Domain mit robot.txt, noindex, nofollow
strukturiert hatte verbesserte sich auch sehr schnell das Ranking
der verlinkten Domains insbesondere für das Hauptkeyword so
das ich da von ausgehe das die Domain im Filter für zu häufig
verlinkte Keys hing.

Meine These ist, das Google das wenn eine Domain genug
Trust hat auch viel doppelter content im index landet und dieser
dann auch zig mal mit dem selben Anchor Text auf eine Domain linkt
und gewertet wird. Somit auch die häufigkeit des Keywords
dramatisch steigt.

Diese Anchor Texte führen in der Summe dazu das ein Keyword
schneller den Schwellwert für den Filter von zu häufig verwendeten
Anchor Texten landet und das obwohl die Backlinks ansich vermutlich
vollkommen wertlos sind.

So ich hoffe ich konnte die Beobachtung nun besser erklären.

[mtx93]

Das hat aber doch eigentlich nichts mit der robot.txt der Seite zu tun sondern mit nodindex/nofollow Seitenintern.

[MonikaTS]

deswegen , weil du verbietest einen Ordner zu crawlen
verschwinden die Inhalte nicht aus dem Index,
wenn ich nicht mag, dass eine URL im Google Index ist
erlaube ich das crawlen per robots (also ich verbiet es dort nicht)


gebe aber dieser einen Internetadresse in den HTML Header einen meta tag mit noindex und von mir aus nofollow

weil geb ich noindex und lasse den Bot dann auch per robots nicht mehr rein, kann er ds noindex nicht lesen (!)

Deine Diagnose mag stimmen,
deine Strategie geht auf Dauer in die Hose ...