Frage zu robot.txt

[Kami]

Hallo, ich schäme mich fast schon zu fragen, aber ich habe keine Ahnung!

Also ich war gestern im meinem Google Konto und wollte sehen ob oder bessergesagt wann Google zuletzt bei meiner Neuen Seite war(nicht die Seite die ich Hier angegeben habe) und dort stand am 23.09, OK, ich habe noch nicht soviel gemacht um die Seite Populär zu machen da ich mich auf den Inhalt konzentriere denn ich Heute hochladen wollte.

SOOO, nur mir ist aufgefallen das 404Fehler bei der Seite angezeigt wird und dort steht was das man https://www.meineseite.de/robot.txt nicht gefunden hat, bei meiner anderen Seite war das nicht der Fall da ist alles in Ordnung.

Meine Frage ist jetzt wie muss ich irgendetwas machen für robot.txt oder regelt sich das von allein, ich dachte solche Sachen kommen in den html Code, aber es geht ja um eine ganze Adresse, ich bin über fragt da ich es mit so etwas noch nie Zutun hatte.

[expy]

hast du denn die robot.txt im root verzeinis liegen?

[Kami]

Keine ahnung, ich weiss noch nicht mal wo ich das find, die Domain habe ich bei Strato und ich habe mich in den letzten 8 Monaten nur mit Hosteurope beschäftigt, wo finde ich den das verzeichnis? bei meinem Provider oder bei mir selbst im erstellungsprogramm der HP.

[Kralle]

Wenn du keine robots.txt angelegt hast, ist ein 404er normal, weil ein SuMa-Bot beim 1. Aufruf der Seite erstmal nach dieser Datei guckt. Wenn du sie nicht brauchst, kannst du sie aber auch getrost weglassen.

[WilliWusel]

Ähnliche "Probleme" beschert Dir evtl. ein fehlendes Favicon (favicon.ico), auch das ist völlig harmlos. Wenn Dich der Error404 stört, lege im Rootverzeichnis eine Datei robots.txt an mit folgendem Inhalt:

User-agent: *
Disallow:

D.h. alle Robots dürfen auf alle Dateien zugreifen.

[1azrael]

Das rootverzeichnis ist das Verzeichnis wo Deine Startseite auch liegt. Da kopierste dann die oben beschriebene robots.txt Datei hin

[Kami]

Ich sage danke an alle, kein wunder das Google mir so etwas anzeigt, bei strato war die Seite nämlich gesperrt für Suchmaschinen, wie schon gesagt die Domain habe ich seit einiger zeit ruhen lassen und ich habe mich mit der Domain bei meinem anderen Provider beschäftigt bei dem ich nie solche Einstellungen machen musste, auf jeden Fall ist die Sache jetzt geklärt.