Ihr Partner in Sachen SEO und Online Marketing
https://archiv.abakus-internet-marketing.de/foren/
https://archiv.abakus-internet-marketing.de/foren/viewtopic.php?f=3&t=13096
Soll's nur für googlebot sein, die 1. Zeile durch diese austauschen:example.com/robots.txt hat geschrieben:User-agent: *
Disallow: /mein/pfad/zur/datei.php
Disallow: /anderedateiimroot.php
Die Textdatei muss ins root deiner Domain, also unter example.com/robots.txt erreichbar sein.User-agent: googlebot
Ja, genau.Also eine Robots.txt erstllen und nur die ZEilen rein ?
Nein.oder muss sonst nochwas dazu ?
Bei mir mir schon...ich habe die Erfahrung gamacht, dass der googlebot
User-agent: *
nicht beachtet
sollte reichen. Auf Fehler in der Syntax kannst du die robots.txt auf https://www.searchengineworld.com/cgi-b ... tcheck.cgi überprüfen.User-agent: *
Disallow: /assets/
Erst einmal muss google deine Seite wieder indizieren. In welchen Abständen der Bot bei dir vorbeischaut, kannst du an deinen Logs erkennen. Bis die Seite aus dem Index ist (d.h. als Titel wird in den Ergebnissen nur noch die URL angezeigt), dauert es vielleicht dann noch so 2-4 Wochen.Wei lange dauert der Ausschluss der Seite ?
Das dauert unwahrscheinlich lange, bis die Seite komplett verschwunden ist, d.h. auch der Eintrag ohne Beschreibtng entfernt ist.Verschwindet der URL Eintrag dann nicht ?
Momentan wird er ohne Beschreibung angezeigt.
Der google-pageRank von /assets/ ist höher als der von /index.htm bzw. https://www.example.com/ ? Und warum sperrst du dann das Verzeichnis?Leider ist der Wert höher als meine Root/index.htm, sobald sie erscheint ist mein /index.htm auf den letzten Seiten zu finden.
Wenn sie mal kurz weg ist springt mein /index.htm gleich wieder vor auf Seite 1.
Wenn du erreichen willst, dass /assets/ nicht mehr gelistet wird, wirst du Erfolg haben. Der Pagerank von /assets/ geht dann aber nicht auf / oder /index.htm über (falls das das ist, was du erreichen möchtest?).D.h ich habe mit der Robots.txt kein Erfolg ?