robots.txt im Index?

Beitrag von **prwahn** » 30.04.2007, 22:10

Hallo

mir ist gerate aufgefallen das es im Google Index zig robots.txt gibt, ich geh mal davon aus das dies schon länger bekannt ist?

Suche: <a href="https://www.google.com/search?hl=de&ie= ... +Suche&lr=" target="_blank">user agent disallow NPbot</a>

ich hab jetzt mal dieses hier eingebaut
User-agent: Googlebot
Disallow: /*.txt$

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von fw » 30.04.2007, 22:25

Bring lieber deine KWs in der robots.txt unter:

Code: Alles auswählen

User-agent&#58; *
Allow&#58; /PKV
Allow&#58; /Detektei
Allow&#58; /Schweiz
Allow&#58; /Oesterreich

Beitrag von **oldInternetUser** » 30.04.2007, 22:36

@fw, wie langweilig.

So etwas gehört in die robots.txt:

Code: Alles auswählen

User-agent&#58; Googlebot
Allow&#58; / # >= 7
Disallow&#58; / # <= 6

Dann wirds auch was mit dem PR ab PR7. Entscheidend ist: Nicht übertreiben - sonst gibts Ärger.

Also bitte nicht bei einer neuen Seite sowas wie

Code: Alles auswählen

Disallow&#58; / # <= 3

einbauen. Da ist nur <= -1 erlaubt.

von **Anzeige von ABAKUS** »

Beitrag von fw » 30.04.2007, 23:06

@oldInternetUser
Bei seinem nick (prwahn) kommt nur "Allow: / # >= 10" in Frage.

Beitrag von **|SONY|** » 08.05.2007, 17:41

hallo zusammen,

ich habe bei sitemaps zwar meine sitemaps indexiert nur wird aber immer noch die robots txt angemerkt = nicht gefunden. besteht der inhalt eigentlich nur aus den angaben wer bzw. welche seite wird zugelassen (PR) oder muss ich da auch unterseiten angeben ?

wenn ich mir die generatoren anschaue ist da thema relativ umfangreich. im header habe ich stehen:

Code: Alles auswählen

<meta name="robots" content="INDEX,FOLLOW" />

reicht es wenn ich o.a. beispiel in der robots txt hinterlege damit die spider mich akzeptieren:

Code: Alles auswählen

User-agent&#58; Googlebot 
Allow&#58; / # >= 7 
Disallow&#58; / # <= 6

seite ist ca. ein knappes jahr aktiv aktuell PR 3. wie bringe ich außer google noch die anderen wichtigen spider ein:

was passiert mit den seiten die ich durch user-agent PR angabe ausschließe. die können trotzdem meine seite aufrufen werden nur nicht gecrawlt ?

Code: Alles auswählen

User-agent&#58; Googlebot 
User-agent&#58; etc.
Allow&#58; / # >= 7 
Disallow&#58; / # <= 6

?

vielen dank
sony

Beitrag von **germanien** » 08.05.2007, 18:11

> mir ist gerate aufgefallen das es im Google Index zig robots.txt gibt, ich geh mal davon aus das dies schon länger bekannt ist?

Das ist schon länger so, die werden von einer Grossen Domain verlinkt.
Die suchen nach robots.txt Seiten die "bestimmte" bots ausgesperrt haben und listen die dann (mit entsprechenden Link) auf.

So kann man auch eine Menge Seiten erstellen

Deshalb habe ich mich schon gefragt ob es nicht von nutzen ist wenigsten einen echten Link (als Kommentar) in die robots.txt reinzuschreiben.

Beitrag von **Kralle** » 08.05.2007, 22:19

fw hat geschrieben:Bring lieber deine KWs in der robots.txt unter:
Code: Alles auswählen
User-agent&#58; *
Allow&#58; /PKV
Allow&#58; /Detektei
Allow&#58; /Schweiz
Allow&#58; /Oesterreich

Beginner

In eine ordentliche SEO-robots.txt gehört das hier rein:

Code: Alles auswählen

Disallow&#58; $&#91;'WHOLE_WEB'&#93;
Allow&#58; /

Damit erledigt sich auch das PageRank-Problem. Schwieriger wird's dann Linktauschpartner zu finden.

Beitrag von **MonikaTS** » 08.05.2007, 22:29

|SONY| hat geschrieben:hallo zusammen,

ich habe bei sitemaps zwar meine sitemaps indexiert nur wird aber immer noch die robots txt angemerkt = nicht gefunden. besteht der inhalt eigentlich nur aus den angaben wer bzw. welche seite wird zugelassen (PR) oder muss ich da auch unterseiten angeben ?..............y

irgendwann ersuch ich Webby noch den *Achtung Ironie* *Achtung hier wird einer auf die Schippe/Schaufel* genommen Smilie einzuführen...

Beitrag von fw » 09.05.2007, 13:07

Kralle hat geschrieben:
fw hat geschrieben:Bring lieber deine KWs in der robots.txt unter:
Code: Alles auswählen
User-agent&#58; *
Allow&#58; /PKV
Allow&#58; /Detektei
Allow&#58; /Schweiz
Allow&#58; /Oesterreich
Beginner

Das bezog sich direkt auf die Projekte des threadstarters.

Wir wollen doch alle hier möglichst kompetente und passende Auskünfte geben.

germanien hat geschrieben:Deshalb habe ich mich schon gefragt ob es nicht von nutzen ist wenigsten einen echten Link (als Kommentar) in die robots.txt reinzuschreiben.

Du fragst dich noch? Es funkioniert prima.

Beitrag von **|SONY|** » 09.05.2007, 18:37

hallo zusammen,

muss ich eigentlich eine robots haben !? möchte ungern sämtliche daten die im header bereich sind in dies neu einfügen.

ist diese überhaupt notwendig oder kann ich das auch anders steuern ?

vielen dank
sony

Beitrag von **chrizz** » 10.05.2007, 09:25

hi sony,

mach dich mal schlau, wozu ne robots.txt. da ist. Dann kannst du dir die frage, ob du eine bracuhst auch von ganz allein beantworten

https://www.bjoernsworld.de/suchmaschin ... s-txt.html

die mtea angaben noindex, nofollow haben mit der robots.txt nichts zu tun. Ob du die explizit nochmal reinschreibst, kannst du dir auch beantworten, wenn du hier mal schaust:
https://www.robotstxt.org/wc/meta-user.html

cheers

Beitrag von **Mario670** » 10.05.2007, 09:31

robots.txt Spam, auch nicht schlecht