Seite 1 von 1
links per <link rel=
Verfasst: 26.12.2006, 00:16
von biatoss
Hallöchen
eigentlich hatte ich hier schon ein account aber den habe ich verschlamp bzw weiß nich mehr welche der email zum name passt.
Zum Thema;
Ich habe eine für mich interessante entdeckung gemacht, wobei ich noch nicht wirklich weiß wie oder ob man daraus einen vorteil ziehn könnte.
Ich hab das ganze in meinem Blog geschrieben was auch ein paar besucher vertragen kann
ganz kurz es geht darum das robots.txt anscheinend nur für inhalt des <body></body> tags gelten.
https://www.biatos.de/google-umgeht-robotstxt.html
wenn ich evtl. in den ansätzen falsch liege bitte kommentieren
ob hier oder im blog
Verfasst: 26.12.2006, 01:28
von fw
Mach dich erst mal mit der Syntax der robots.txt vertraut ...
Code: Alles auswählen
Um seine Site ganz von der Indexierung auszuschließen kann man folgendes benutzen:
# Ganze Site für alle Robots sperren
User-agent: *
Disallow: /
Wenn man den Slash (/) wegläßt, gibt man Seine Site ganz für die Indexierung frei:
# Ganze Site freigeben
User-agent: *
Disallow:
... bevor du so einen Schwachfug verbreitest.
Google umgeht robots.txt
Als ich heute auf Wordpress.com rumsurfte fiel mir der prächtige Pagerank 9 auf und ich vermutete, dass es auch hier einige Möglichkeiten geben könnte Pagerank zu schnorren, natürlich auch aus Eigennutz. Nachdem mir schnell klar war das alle unterseiten einen PR 0 hatten und ich in der robots.txt folgendenen Eintrag fand.
User-agent: IRLbot
Crawl-delay: 3600
User-agent: *
Disallow:
Soweit mir bekann steht (User-agent: *) für alle Crawler jedoch kann man mit (User-agent: Crawler Name) einzelne Crawler von dieser Rolle ausnehmen so wie im obigen Beispiel. Wenn ich jedoch Crawler aussperre inklusive Google etc. Wie kann diese Seite einen Pagerank von 9 haben und der Feed (wordpress.com/feed/) einen Pagerank von 7 ?
Re: links per <link rel=
Verfasst: 26.12.2006, 10:44
von oldInternetUser
biatoss hat geschrieben:ganz kurz es geht darum das robots.txt anscheinend nur für inhalt des <body></body> tags gelten.
https://www.biatos.de/google-umgeht-robotstxt.html
wenn ich evtl. in den ansätzen falsch liege bitte kommentieren
ob hier oder im blog
Also mir wäre das peinlich, wenn ich so einen halbgaren Unsinn unter meinem Namen veröffentlichen würde.
Ich empfehle die freiwillige Löschung.
Verfasst: 26.12.2006, 11:48
von joghurtKULTUR
*lol* bitte lösch das ganz schnell wieder
Verfasst: 26.12.2006, 12:00
von everflux
Das muß an der Weihnachtszeit liegen. Ich dachte ich hätte im Google-Blog ne unglaublich große Sache entdeckt.
Direkt in mein Blog gestopft und voller Euphorie noch den lieben Fridaynite angemailt mit dem ich diese unglaubliche Entdeckung teilen wollte.
Bin ich froh, daß er sowas gewohnt zu sein scheint. Heraus kam nämlich daß ich zwar nichts an den Augen hatte, aber.... naja *g*.
Also allen noch schöne Feiertage und nen guten Rutsch falls man sich nicht mehr ließt!
Verfasst: 26.12.2006, 12:52
von biatoss
wenn ich evtl. in den ansätzen falsch liege bitte kommentieren ob hier oder im blog
ich bin überrascht über die freundlichkeit hier im forum -.-
naja nun bin ich schlauer, und verbreitet habe ich garnichs da ich ja schon selber vorbehalte gegen über meiner behauptung hatte.
