sorry- neues thema zu robots

Beitrag von **Anonymous** » 08.03.2006, 13:27

Hallo,
hat es einen Nachteil wenn suchmaschinenteschnich ich in die Robots.txt folgendes einfüge.

User-agent: /verzeichnis/datei1.html
Disallow: /

Damit will ich bezwecken dass die Bots ab datei1.html nichtmehr weiterscannen.

Funktioniert das so und gibt es nachteile bzw vorteile wenn ich das so mache ?
Auf der Site datei1.html sind viele Links !!!!

Mein Plan, normalerweise sollte es vvon vorteil sein denn die robots folgen den links nicht und dadurch bekomme ich einen höhrern Linkpop

richtig oder falsch ??

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **bull** » 08.03.2006, 13:28

Die Syntax ist komplett falsch.
Bitte nachlesen bei https://www.robotstxt.org/wc/exclusion.html#robotstxt

Beitrag von **Nullpointer** » 08.03.2006, 13:39

und neben der syntax ist auch der rest falsch.

von **Anzeige von ABAKUS** »

Beitrag von **thetrasher** » 08.03.2006, 15:03

Nein, der Eintrag ist nicht von Nachteil.

Das funktioniert so aber nicht. Deshalb erkenne ich auch keine Vorteile.

"Falsch" ist die richtige Antwort.

Bull hat Dir einen hilfreichen Link gegeben. Zum Lesen benötigst Du aber Englischkenntnisse.

Deutschsprachige Erklärung von robots.txt

Beitrag von **Anonymous** » 08.03.2006, 16:35

Nullpointer hat geschrieben:und neben der syntax ist auch der rest falsch.

super nullpointer......
ALLES FALSCH
Leg dich hin und schlaf, meintest du das damit ?

Wie mach ich dass in der .html datei von mir in der viele links sind die robtos die links nicht verfolgen sondern meine site weiterspidern und die links auf der site einfach ignorieren ?

Beitrag von **Nullpointer** » 08.03.2006, 16:46

sag erst mal, was du haben willst.
du willst ne höhere linpop? dann besorge dir backlinks.
du möchtest, dass ausgehende links von google nicht als empfehlung gewertet werden, also keinen pr von dir vererbt bekommen? dann versehe jeden link mit dem nofollow attirbut?
du möchtest, dass deine linkseite gespidert wird, die links aber nicht verfolgt werden? wie willst du das verhindern? mach java-script links draus. was der bot liest, wird er auch verfolgen, nur die wertung kannst du mit nofollow beeinflussen (oder halt outbound.pl/php.
oder willst du, dass die linkseite nicht gespidert wird? dann ist der sicherste weg ein passwortschutz oder halt die htaccess.
dann empfehle ich dir den obigen link.
denn bei user-agent definierst du, für welchen user-agent die anweisung gelten soll und bei disallow, was er eben nicht lesen soll.
ich bezweifle, dass ein user agent /verzeichnis/datei1.html an deiner website interessiert sein wird, denn mit / verbietest du ihm alles.

Beitrag von **800XE** » 08.03.2006, 17:47

W3bmasta hat geschrieben:User-agent: /verzeichnis/datei1.html
Disallow: /

ich bin ein UserAgent
Googlebot/2.1 (+https://www.google.com/bot.html)
und ich auch
Miva (AlgoFeedback@miva.com)

( kennt ihr den schon? Miva 66.150.55.230 )

Ich bin ein Referer
https://www.google.de/search?hl=de&q=ho ... %3Dlang_de

W3bmasta hat geschrieben:Wie mach ich dass in der .html datei von mir in der viele links sind die robtos die links nicht verfolgen sondern meine site weiterspidern und die links auf der site einfach ignorieren ?

die Links aus der Datei rausnehmen