Maximale Größe robots.txt

[Armi]

Hi,

weiß hier jemand wie groß ne robots.txt maximal sein darf?

Ist vielleicht ungewöhnlich die Frage...... es geht hier um das

https://services.google.com:8882/urlconsole/controller

Tool.

Ob einer gewissen Größe nimmt die Google nicht an.

Also eins kann ich sagen: 57MB sind definitiv zu viel


Armi

[terese0815]

Armi,

mach es doch wie schon im anderen Thread vorgeschlagen wurde. Du wirst mit der robots.txt nicht weiter kommen.

https://www.abakus-internet-marketing.d ... 10013.html

[Armi]

Das klappt 100% mit der robots.txt !!

Das mit dem Meta-Tag habe ich gemacht und Google wird diese nicht mehr indexieren können. Aber das dauert teilweise Monate bis Google die bisherigen aufgenommen URLs rausschmeisst.....

Das URL-Removal-Tool hat bei mir immer super funktioniert !

[terese0815]

Ja. Du kannst aber schlecht ne 57MB robots.txt erstellen. Also wenn's nicht damit geht bleibt dir doch nichts anderes übrig.

[Armi]

Also Google akzeptiert nicht mal 100kb große robots.txt ...

Schade .... So Befehle mit * also disallow:/unterseite*.html

gibt es nicht???

[terese0815]

Bei den Angaben zu Disallow: und Allow: können Sie Verzeichnispfade und einzelne Dateien mit Pfadangabe angeben. Wildcards wie * oder *.* sind dabei nicht erlaubt.

Quelle: https://de.selfhtml.org/diverses/robots.htm

[Armi]

Gut, ich habe jetzt in all diesen Seiten

<meta name="robots" content="noindex, noarchive">

stehen.

-> Keine Indexierung, Rausschmiss bisheriger gecacheter Daten.

Aber bis tatsächlich alles draußen ist dauert es ne lange lange Zeit........

[terese0815]

Super gemacht Armi