Links Out
Verfasst: 24.03.2006, 14:55
Hallo erstmal alle zusammen,
ich habe eine hoffentlich einfache Frage:
Auf unserer Seite www.raumausstattung.de haben wir unter anderem ein ziemlich umfangreiches Branchenadressbuch (im Business Bereich). Dort sind über 5.000 Firmen komplett mit allenmöglichen Daten gelistet, darunter natürlich auch deren Website.
Meine Frage ist jetzt: sollte ich die ausgehenden Links (laufen über ein perl redirect script) durch einen Eintrag in der Robots.txt vor dem Crawlen sperren (a la "Disallow: /cgi") - oder nicht?
Wenn ich das nicht Sperre verteile ich ja fröhlich ausgehende Links ohne Ende.... oder ist das nicht von Nachteil?
Apropos:
Gemäß dem Motto "erst suchen, dann fragen" hatte ich versucht eine Antwort zu finden, da ich aber absoluter "noob" in dem Bereich bin wusste ich noch nichtmal nach welchem Begriff ich hätte suchen sollte... Also seid bitte nachsichtig!
Herzlichen Dank im Vorraus
Sebastian
ich habe eine hoffentlich einfache Frage:
Auf unserer Seite www.raumausstattung.de haben wir unter anderem ein ziemlich umfangreiches Branchenadressbuch (im Business Bereich). Dort sind über 5.000 Firmen komplett mit allenmöglichen Daten gelistet, darunter natürlich auch deren Website.
Meine Frage ist jetzt: sollte ich die ausgehenden Links (laufen über ein perl redirect script) durch einen Eintrag in der Robots.txt vor dem Crawlen sperren (a la "Disallow: /cgi") - oder nicht?
Wenn ich das nicht Sperre verteile ich ja fröhlich ausgehende Links ohne Ende.... oder ist das nicht von Nachteil?
Apropos:
Gemäß dem Motto "erst suchen, dann fragen" hatte ich versucht eine Antwort zu finden, da ich aber absoluter "noob" in dem Bereich bin wusste ich noch nichtmal nach welchem Begriff ich hätte suchen sollte... Also seid bitte nachsichtig!
Herzlichen Dank im Vorraus
Sebastian

