Seite 1 von 1
Maximale Größe robots.txt
Verfasst: 20.12.2004, 19:05
von Armi
Hi,
weiß hier jemand wie groß ne robots.txt maximal sein darf?
Ist vielleicht ungewöhnlich die Frage...... es geht hier um das
https://services.google.com:8882/urlconsole/controller
Tool.
Ob einer gewissen Größe nimmt die Google nicht an.
Also eins kann ich sagen: 57MB sind definitiv zu viel
Armi
Verfasst: 20.12.2004, 19:14
von terese0815
Armi,
mach es doch wie schon im anderen Thread vorgeschlagen wurde. Du wirst mit der robots.txt nicht weiter kommen.
https://www.abakus-internet-marketing.d ... 10013.html
Verfasst: 20.12.2004, 19:16
von Armi
Das klappt 100% mit der robots.txt !!
Das mit dem Meta-Tag habe ich gemacht und Google wird diese nicht mehr indexieren können. Aber das dauert teilweise Monate bis Google die bisherigen aufgenommen URLs rausschmeisst.....
Das URL-Removal-Tool hat bei mir immer super funktioniert !
Verfasst: 20.12.2004, 19:27
von terese0815
Ja. Du kannst aber schlecht ne 57MB robots.txt erstellen. Also wenn's nicht damit geht bleibt dir doch nichts anderes übrig.
Verfasst: 20.12.2004, 19:49
von Armi
Also Google akzeptiert nicht mal 100kb große robots.txt ...
Schade .... So Befehle mit * also disallow:/unterseite*.html
gibt es nicht???
Verfasst: 20.12.2004, 19:51
von terese0815
Bei den Angaben zu Disallow: und Allow: können Sie Verzeichnispfade und einzelne Dateien mit Pfadangabe angeben. Wildcards wie * oder *.* sind dabei nicht erlaubt.
Quelle:
https://de.selfhtml.org/diverses/robots.htm
Verfasst: 20.12.2004, 23:26
von Armi
Gut, ich habe jetzt in all diesen Seiten
<meta name="robots" content="noindex, noarchive">
stehen.
-> Keine Indexierung, Rausschmiss bisheriger gecacheter Daten.
Aber bis tatsächlich alles draußen ist dauert es ne lange lange Zeit........
Verfasst: 20.12.2004, 23:29
von terese0815
Super gemacht Armi
