Dieser Miragobot ist für nichts anderes da, als die daten für diese Spam-seiten zusammenzuklauen ... schaden tun die Links vielleicht nicht, aber nützen auch nicht. Das Teil ist halt vollkommen überflüssig.
Die behaupten zwar, das sie sich an die robots.txt Ausschlusskriterien halten ... tun das leider aber nicht. bei mir wandern sie trotz Sperre über die Seiten.
Die kennung für das Aussperren ist (falls die das nicht wieder mal geändert haben):
User-agent: HenryTheMiragoRobot
Disallow: /
You will never get banned on lowered in ranking for links on other sites.
Because of the authority from these spammy they dont have also a positive effect but they might help you in MSN.
So just work on good content....and let the links for what it is.
Über die robots.txt erfolgt ja auch keine Sperre, sondern wenn überhaupt, dann nur eine "Bitte" an die Bots.
"bitte beachte meine Einträge darin.."
Es besteht ja auch in keinerlei Hinsicht eine Pflicht, die robots.txt auszulesen,
und schon gar nicht das was drin ist einzuhalten.
Mit einem Crawler kann ich jeden Link einer Webseite ohne die robots.txt auslesen.
Jeden Link den ein Besucher sieht und anklicken kann, kann ich mir auch per Script/Programm "holen",
völlig unwichtig was in der robots.txt steht.
Suchmaschinen beachten die robots.txt immer nur freiwillig.
unser Robot ist eigentlich so programmiert, dass er sich an die robots.txt hält.
@buttheads: könntest du mir per pm ein paar Seiten nennen, auf denen der Robot trotz der Sperre unterwegs war, ggf. mit Logfileeinträgen? Dann können wir mal schauen, was da schiefgegangen ist.
Vielen Dank
Kilian Dertinger
Mirago plc Deutschland
Kann es nicht auch sein, dass man für diese Links bezahlen muß?
Mir sind zumindest 2 Seiten in den Top 10 bekannt, die 80% ihrer Links von diversen adfire Seiten bekommen.
Ich hatte immer den Eindruck, dass die die Werbung bestellt hätten, denn ohne diese wären die hinsichtlich der Linkpop weit hinter den anderen Seiten zurück.
Oder wo ist mein Denkfehler ?
Denn der Inhalt der Seiten z.B. Primzahlen in C+ gefüllt mit Lifestyle passt ja nun wirklich nicht.