Maximale Größe robots.txt

Beitrag von **Armi** » 20.12.2004, 19:05

Hi,

weiß hier jemand wie groß ne robots.txt maximal sein darf?

Ist vielleicht ungewöhnlich die Frage...... es geht hier um das

https://services.google.com:8882/urlconsole/controller

Tool.

Ob einer gewissen Größe nimmt die Google nicht an.

Also eins kann ich sagen: 57MB sind definitiv zu viel

Armi

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **terese0815** » 20.12.2004, 19:14

Armi,

mach es doch wie schon im anderen Thread vorgeschlagen wurde. Du wirst mit der robots.txt nicht weiter kommen.

https://www.abakus-internet-marketing.d ... 10013.html

Beitrag von **Armi** » 20.12.2004, 19:16

Das klappt 100% mit der robots.txt !!

Das mit dem Meta-Tag habe ich gemacht und Google wird diese nicht mehr indexieren können. Aber das dauert teilweise Monate bis Google die bisherigen aufgenommen URLs rausschmeisst.....

Das URL-Removal-Tool hat bei mir immer super funktioniert !

von **Anzeige von ABAKUS** »

Beitrag von **terese0815** » 20.12.2004, 19:27

Ja. Du kannst aber schlecht ne 57MB robots.txt erstellen. Also wenn's nicht damit geht bleibt dir doch nichts anderes übrig.

Beitrag von **Armi** » 20.12.2004, 19:49

Also Google akzeptiert nicht mal 100kb große robots.txt ...

Schade .... So Befehle mit * also disallow:/unterseite*.html

gibt es nicht???

Beitrag von **terese0815** » 20.12.2004, 19:51

Bei den Angaben zu Disallow: und Allow: können Sie Verzeichnispfade und einzelne Dateien mit Pfadangabe angeben. Wildcards wie * oder *.* sind dabei nicht erlaubt.

Quelle: https://de.selfhtml.org/diverses/robots.htm

Beitrag von **Armi** » 20.12.2004, 23:26

Gut, ich habe jetzt in all diesen Seiten

<meta name="robots" content="noindex, noarchive">

stehen.

-> Keine Indexierung, Rausschmiss bisheriger gecacheter Daten.

Aber bis tatsächlich alles draußen ist dauert es ne lange lange Zeit........

Beitrag von **terese0815** » 20.12.2004, 23:29

Super gemacht Armi