links per <link rel=

Beitrag von **biatoss** » 26.12.2006, 00:16

Hallöchen

eigentlich hatte ich hier schon ein account aber den habe ich verschlamp bzw weiß nich mehr welche der email zum name passt.

Zum Thema;
Ich habe eine für mich interessante entdeckung gemacht, wobei ich noch nicht wirklich weiß wie oder ob man daraus einen vorteil ziehn könnte.

Ich hab das ganze in meinem Blog geschrieben was auch ein paar besucher vertragen kann

ganz kurz es geht darum das robots.txt anscheinend nur für inhalt des <body></body> tags gelten.
https://www.biatos.de/google-umgeht-robotstxt.html

wenn ich evtl. in den ansätzen falsch liege bitte kommentieren

ob hier oder im blog

von **Anzeige von ABAKUS** »

Beitrag von fw » 26.12.2006, 01:28

Mach dich erst mal mit der Syntax der robots.txt vertraut ...

Code: Alles auswählen

Um seine Site ganz von der Indexierung auszuschließen kann man folgendes benutzen&#58;

# Ganze Site für alle Robots sperren
User-agent&#58; *
Disallow&#58; /

Wenn man den Slash &#40;/&#41; wegläßt, gibt man Seine Site ganz für die Indexierung frei&#58;

# Ganze Site freigeben
User-agent&#58; *
Disallow&#58;

... bevor du so einen Schwachfug verbreitest.

Google umgeht robots.txt

Als ich heute auf Wordpress.com rumsurfte fiel mir der prächtige Pagerank 9 auf und ich vermutete, dass es auch hier einige Möglichkeiten geben könnte Pagerank zu schnorren, natürlich auch aus Eigennutz. Nachdem mir schnell klar war das alle unterseiten einen PR 0 hatten und ich in der robots.txt folgendenen Eintrag fand.

User-agent: IRLbot
Crawl-delay: 3600

User-agent: *
Disallow:

Soweit mir bekann steht (User-agent: *) für alle Crawler jedoch kann man mit (User-agent: Crawler Name) einzelne Crawler von dieser Rolle ausnehmen so wie im obigen Beispiel. Wenn ich jedoch Crawler aussperre inklusive Google etc. Wie kann diese Seite einen Pagerank von 9 haben und der Feed (wordpress.com/feed/) einen Pagerank von 7 ?

Beitrag von **oldInternetUser** » 26.12.2006, 10:44

biatoss hat geschrieben:ganz kurz es geht darum das robots.txt anscheinend nur für inhalt des <body></body> tags gelten.
https://www.biatos.de/google-umgeht-robotstxt.html

wenn ich evtl. in den ansätzen falsch liege bitte kommentieren ob hier oder im blog

Also mir wäre das peinlich, wenn ich so einen halbgaren Unsinn unter meinem Namen veröffentlichen würde.

Ich empfehle die freiwillige Löschung.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **joghurtKULTUR** » 26.12.2006, 11:48

*lol* bitte lösch das ganz schnell wieder

Beitrag von **everflux** » 26.12.2006, 12:00

Das muß an der Weihnachtszeit liegen. Ich dachte ich hätte im Google-Blog ne unglaublich große Sache entdeckt.
Direkt in mein Blog gestopft und voller Euphorie noch den lieben Fridaynite angemailt mit dem ich diese unglaubliche Entdeckung teilen wollte.
Bin ich froh, daß er sowas gewohnt zu sein scheint. Heraus kam nämlich daß ich zwar nichts an den Augen hatte, aber.... naja *g*.

Also allen noch schöne Feiertage und nen guten Rutsch falls man sich nicht mehr ließt!

Beitrag von **biatoss** » 26.12.2006, 12:52

wenn ich evtl. in den ansätzen falsch liege bitte kommentieren ob hier oder im blog

ich bin überrascht über die freundlichkeit hier im forum -.-

naja nun bin ich schlauer, und verbreitet habe ich garnichs da ich ja schon selber vorbehalte gegen über meiner behauptung hatte.