ABAKUS

Verfasst: **20.12.2004, 19:05**

Hi,

weiß hier jemand wie groß ne robots.txt maximal sein darf?

Ist vielleicht ungewöhnlich die Frage...... es geht hier um das

https://services.google.com:8882/urlconsole/controller

Tool.

Ob einer gewissen Größe nimmt die Google nicht an.

Also eins kann ich sagen: 57MB sind definitiv zu viel

Armi

Verfasst: **20.12.2004, 19:14**

Armi,

mach es doch wie schon im anderen Thread vorgeschlagen wurde. Du wirst mit der robots.txt nicht weiter kommen.

https://www.abakus-internet-marketing.d ... 10013.html

Verfasst: **20.12.2004, 19:16**

Das klappt 100% mit der robots.txt !!

Das mit dem Meta-Tag habe ich gemacht und Google wird diese nicht mehr indexieren können. Aber das dauert teilweise Monate bis Google die bisherigen aufgenommen URLs rausschmeisst.....

Das URL-Removal-Tool hat bei mir immer super funktioniert !

Verfasst: **20.12.2004, 19:27**

Ja. Du kannst aber schlecht ne 57MB robots.txt erstellen. Also wenn's nicht damit geht bleibt dir doch nichts anderes übrig.

Verfasst: **20.12.2004, 19:49**

Also Google akzeptiert nicht mal 100kb große robots.txt ...

Schade .... So Befehle mit * also disallow:/unterseite*.html

gibt es nicht???

Verfasst: **20.12.2004, 19:51**

Bei den Angaben zu Disallow: und Allow: können Sie Verzeichnispfade und einzelne Dateien mit Pfadangabe angeben. Wildcards wie * oder *.* sind dabei nicht erlaubt.

Quelle: https://de.selfhtml.org/diverses/robots.htm

Verfasst: **20.12.2004, 23:26**

Gut, ich habe jetzt in all diesen Seiten

<meta name="robots" content="noindex, noarchive">

stehen.

-> Keine Indexierung, Rausschmiss bisheriger gecacheter Daten.

Aber bis tatsächlich alles draußen ist dauert es ne lange lange Zeit........

Verfasst: **20.12.2004, 23:29**

Super gemacht Armi

ABAKUS

Maximale Größe robots.txt

Maximale Größe robots.txt