ABAKUS

aber die description muss ich doch ned in die robots.txt reinschreiben. oder doch?

aber die description muss ich doch ned in die robots.txt reinschreiben. oder doch?

Nein, ganz sicher nicht!

Du sollst in der robots.txt kontrollieren, ob du nicht aus Versehen Verzeichnisse oder Dateien für die Robots gesperrt hast.
Dann tauchen die Seiten nämlich manchmal ohne Beschreibung bei der site: Abfrage auf.

sG,
tojas

User-agent: *
Disallow:


des müsst doch passen.
sorry, dass ich so blöd frag

Zum Test der robots.txt gibt es hier: https://www.sxw.org.uk/computing/robots/check.html ein praktisches Tool

Der Code spricht alle Bots an und sagt Disallow:
Was kann das bedeuten?

Falls Du indiziert werden möchtest, lösch die Datei!


gruss mark

Hast du ein relevantes Keyword in deinem Domainennamen und selbst danach bei Google gesucht ?

Könnte auch damit zu tun haben..........aber richtig - einfach nochwas warten

gruss

shapeshifter

The following allows all robots to visit all files because the wildcard "*" specifies all robots.

User-agent: *
Disallow:

This one keeps all robots out.

User-agent: *
Disallow: /

https://www.searchengineworld.com/robot ... torial.htm

also müsste meine robot.txt doch passen. brauch ich die eigentlich, wenn ich eh nix ausschließen möchte. ansonsten lösch ich die robot nämlich?

@reel

Wenn Du nichts auszuschließen hast, leg einfach eine leere robots.txt auf Deinen Server. Das erspart Dir unzählige ErrorLog-Einträge.

reel hat geschrieben:also müsste meine robot.txt doch passen.

ja, wenn hinter Disallow: nichts steht, bedeutet das, dass alles gespidert werden darf

es hat sich immer noch nichts geändert.
hab schon ein paar sachen rausgeschmissen und extra text auf die seite gelegt.

Au deiner Startseite hast du zwar titel etc. in den Metas auf deiner eigentlichen Seite nicht keine Metas nichts rein gar nix
<title>Unbenanntes Dokument</title>
Auch der verstekte h1 text auf deiner Startseite ist sicher nicht sinnvoll

Melde mich zu Wort, da ich die gleichen Probleme habe mit suedsee-perlen.de
Die index wird seit Wochen regelmäßig aktualisiert (alle 2 Tage). Die Unterseiten sind seit Wochen nur als url drin, obwohl sich da im Content mehr geändert hat als in der index. Jetzt sind ein paar Seiten von meinem integrierten Shop reingerutscht, der eigentlich durch die robots.txt gesperrt ist. War aber ein Fehler in der robots. Das ist vor 2 Tagen passiert. Jetzt stimmt die robots.txt und der shop ist gesperrt. Aber warum sind diese Shop-Seiten mit Titel etc. sofort in g..gle, obwohl die fehlerhafte robots.txt nur 2 Tage auf dem Server lag? Die anderen Unterseiten liegen da schon seit Wochen und es tut sich nichts. Bin sehr ratlos. Hat jemand einen Tip?