rel="nofollow" - Beachtet Google das noch?

Beitrag von **SloMo** » 10.08.2005, 08:52

RW hat geschrieben:@luigip

War ein Tipfehler von mir

User-agent: Googlebot
Disallow: /*.php$

Dieser Syntax steht bei mir in der robots.txt

Und was soll das sein? Sicher keine sinnvolle robots.txt. Wie viele Dateien auf Deinem Webspace enden mit ".php$" ?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **twiggie** » 10.08.2005, 09:29

Hätte da noch eine Frage. Hat von Euch das rel="nofollow" in einem <a href=...>-tag auch schonmal einer NACHTRÄGLICH gesetzt?
Wie lange dauert es, bis google die seiten, die bereits indiziert sind dank dem nofollow aus dem Index verbannt?

Twigg

Beitrag von **csx** » 10.08.2005, 09:40

@twiggie
Wieso sollte G die Seiten aus dem Index nehmen? nofollow heißt nur, dass der Link intern nicht als solcher gewertet wird (also keinen PR vererbt bzw. keinen Domainrank, Linkrank, Siterank, oder was auch immer es noch so geben mag). Das heißt aber nicht, dass die Zielseite nicht indexiert werden dürfte.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **derHund** » 10.08.2005, 09:46

Wie wär´s mal mit
User-agent: Googlebot
Disallow: /*.php$

wieso postest du das? und dann noch den link zu dem checker?

user-agent ist case-insensitive, regexp sind im disallow nicht erlaubt (werden nicht interpretiert), es bringt also nichts, dort * oder $ zu platzieren, es ist eher kontraproduktiv.
selbst wenn regexp möglich wären, welchen sinn sollte das ? dann haben? gilt es dann als meta-zeichen (quantifier), weil s ja nicht maskiert ist, oder als text?

Beitrag von **guppy** » 10.08.2005, 11:29

csx hat geschrieben:@twiggie
Das heißt aber nicht, dass die Zielseite nicht indexiert werden dürfte.

gewagte Theorie, die ich nicht bestätigen kann.

wie der Name sagt, nicht folgen und goolebot folgt nicht, bei allen meinen Projekten, daraus leitet sich dann auch keine Vererbung u.s.w. ab.

Trotzdem sind die Seiten öfter im index, wenn ich da jetzt die logs auswerte kommt immer folgender Sachverhalt zum Vorschein, irgendeine mini/pseudo suchmaschine mit Piratenbot hat die Seite in Datenbanken gesaugt, von dort wird ein snippet mit link veröffentlicht (Adsensemüllseiten) und da ist kein nofollow im link.

Wenn die Seite jetzt ein noindex im Meta hat, ist sie bekannt aber ohne Cache und wird nur unter dem direktem Namen gefunden.
Seiten die ich im Netzt habe, auf denen Adsense geschaltet ist, die keinerlei direkten link haben sind auch nicht im Index, trotz Adsense, als da sehe ich nicht die Ursache, die oft vermutet wird, wenn Seiten im auftauchen, die eigentlich nicht auftauchen sollten.

Beitrag von **twiggie** » 10.08.2005, 11:31

THX guppy,
genau das wollte ich hören

Twigg

Beitrag von **luigip** » 10.08.2005, 11:53

@derHund

user-agent ist case-insensitive

eben darum Googlebot und nicht googlebot wie RW geschrieben hat.
Dass der Standard beim Dissallow keine wildcards vorsieht ist bekannt. Google hält sich aber, nach eigenen Aussagen genau an diese Syntax: Disallow: /*.php$
Dieser Validator wäre hierzu ehrlicher.

Und nun Schluß mit der robots.txt sonst kriegt twiggie noch die Krise. Sie wollte einen thread zum Thema rel="nofollow".

Beitrag von **derHund** » 10.08.2005, 12:51

eben darum Googlebot

klein/großschreibung wird nicht unterschieden.

Google hält sich aber, nach eigenen Aussagen genau an diese Syntax: Disallow: /*.php$

wo steht das?

https://www.google.de/intl/de/webmasters/bot.html

Beitrag von **luigip** » 10.08.2005, 13:10

derHund schrieb:

wo steht das?

https://www.google.de/intl/de/webmasters/bot.html

Nur einen Klick (... finden Sie auf unserer Seite Entfernen) weiter steht dieses Beispiel:

Zum Entfernen aller Dateien eines bestimmten Dateityps (z.B. .gif) verwenden Sie den folgenden robots.txt-Eintrag:

User-agent: Googlebot
Disallow: /*.gif$

Sorry hab das in bei case-insensitive in deinem posting überlesen. Auch bei w3c:

There can only be a single "/robots.txt" on a site. Specifically, you should not put "robots.txt" files in user directories, because a robot will never look at them. If you want your users to be able to create their own "robots.txt", you will need to merge them all into a single "/robots.txt". If you don't want to do this your users might want to use the Robots META Tag instead.

Some tips: URI's are case-sensitive, and "/robots.txt" string must be all lower-case. Blank lines are not permitted within a single record in the "robots.txt" file.

There must be exactly one "User-agent" field per record. The robot should be liberal in interpreting this field. A case-insensitive substring match of the name without version information is recommended.

If the value is "*", the record describes the default access policy for any robot that has not matched any of the other records. It is not allowed to have multiple such records in the "/robots.txt" file.

The "Disallow" field specifies a partial URI that is not to be visited. This can be a full path, or a partial path; any URI that starts with this value will not be retrieved. For example,

Disallow: /help disallows both /help.html and /help/index.html, whereas
Disallow: /help/ would disallow /help/index.html but allow /help.html.

An empty value for "Disallow", indicates that all URIs can be retrieved. At least one "Disallow" field must be present in the robots.txt file.

Beitrag von **twiggie** » 10.08.2005, 13:55

Und nun Schluß mit der robots.txt sonst kriegt twiggie noch die Krise. Sie wollte einen thread zum Thema rel="nofollow".

THX luigip. Ich bin jedoch krisensicher

Ich denke guppy hat es sehr gut auf den Punkt gebracht. Höre mir aber selbstverständlich gerne noch andere Meinungen an.

Ich werde das jetzt auch selber testen.

Twigg

Beitrag von **Hobby-SEO** » 10.08.2005, 16:02

Vorschlag für ein Experiment:

Erstellt eine sinnleere Seite, die garantiert nicht von außen verlinkt wird, setzt einen (versteckten?) Link von einer Eurer Unterseiten auf diese Seite, benutzt dazu das rel="nofollow"-Attribut und wartet das nächste PR-Update ab.

Meine Prognose: Die Seite wird im Google-Index landen; sie sollte aber auch nach dem nächsten PR-Update keinen PR aufweisen (das ist ja der eigentliche Sinn des rel="nofollow").

LG, Hobby-SEO

Beitrag von **Muaddib** » 10.08.2005, 16:28

Hobby-SEO hat geschrieben:Mein Balken ist grau. Na und?

Wenn er schwarz wird, faellt er ab.

Beitrag von **guppy** » 10.08.2005, 17:12

Hobby-SEO hat geschrieben:Vorschlag für ein Experiment:

Erstellt eine sinnleere Seite, die garantiert nicht von außen verlinkt wird, setzt einen (versteckten?) Link von einer Eurer Unterseiten auf diese Seite, benutzt dazu das rel="nofollow"-Attribut und wartet das nächste PR-Update ab.

Meine Prognose: Die Seite wird im Google-Index landen; sie sollte aber auch nach dem nächsten PR-Update keinen PR aufweisen (das ist ja der eigentliche Sinn des rel="nofollow").

LG, Hobby-SEO

aber vermutlich nicht, weil google sie von dem Link gespidert hat, der gesetzt wird, sondern weil Piratenbots die Seite spidern und irgendwoanders ein link erscheint. google hält sich schon dran ist ja über die logfiles problemlos nachzuvollziehen.
Je stärker die Seite um sehr mehr Parasitenbots saugen Inhalt und um so schneller ist die Seite von woanders verlinkt im index, dass deckt sich dann auch mit den Erkenntnissen von AnjaK.

Beitrag von **bull** » 10.08.2005, 17:27

Verlinkst Du nur von foo.html mit nofollow auf das "Testprojekt" und machst

RewriteCond %{REQUEST_URI} foo\.html$
RewriteCond %{HTTP_USER_AGENT} !Googlebot\/2\.1
RewriteRule .* - [F]

hast Du's auch nicht in Pseudosumas drin. Es sei denn, selbige verwenden einen Googlebot als UA. Aber die Wahrscheinlichkeit ist recht gering.

Beitrag von **Hobby-SEO** » 10.08.2005, 17:38

@ Muaddib (oder so ähnlich): Freut mich, dass Dir meine Signatur gefällt

Schwarz kann der Balken auch werden? Oh Schreck!!!

@ guppy:

Danke für Deine Ergänzung - hatte ich nicht bedacht.
Siehst Du eine Möglichkeit, das von mir vorgeschlagene Experiment doch noch in die Tat umzusetzen, zumal man von den content-klauenden Sumas in der Regel ja sowieso keinen PR-zählenden Backlink bekommt. Das Experiment müsste also klappen, wenn die Testseite von einer Seite mit relativ hohem PR verlinkt wird. Oder sehe ich das komplett falsch? (Wie gesagt: Indiziert wird die Seite sowieso. Die Frage ist nur, wie hoch ihr PR nach dem nächsten Update ausfällt, wenn man rel="nofollow" benutzt.)

LG, Hobby-SEO