G liest robots.txt nicht mehr und Bot kommt auch nicht mehr.

Beitrag von **r-alf** » 28.02.2009, 23:56

Seit gestern oder vorgestern liest G meine robots.txt nicht mehr und der G-Bot kommt (laut Log-Files) auch nicht mehr vorbei. Die Seite ist wurde sonst täglich sehr oft vom Bot besucht. Verändert wurde in letzter Zeit an der Seite nichts. Die Positionen in bei der Suche in G sind unverändert bzw. teilweise besser.

Neu beziehungsweise nochmals eingereichte sitemaps in den GWT werden nicht abgeholt oder ausgewertet und in den WMTs erscheint folgendes bei der robots.txt-Auswertung.

Bild

Kennt Jemand dieses Problem und vor Allem woran es liegen könnte?

Danke für eure Hilfe

[/img]

von **Anzeige von ABAKUS** »

Beitrag von **r-alf** » 01.03.2009, 01:16

Hat keiner einen Lösungsansatz? Ich bekomm nämlich langsam Panik, den an der Domain hängt ein Haufen Kohle

.
G versucht fast jede Stunde die robots zu laden mit dem oben bebilderten Ergebnis. In den Logfiles ist dieser Versuch nicht ersichtlich

Beitrag von **bennos** » 01.03.2009, 04:20

irgendwelche änderungen in der SERP?

Schau mal nach ob es nicht am Server / Hoster liegen kann. es reicht ja schon die .htaccess falsch aufzubauen oder für den Server neue Security Module zu installieren. Da kann man viel falsch machen.

Beitrag von **t-rex** » 01.03.2009, 04:57

Hi,

leere Ausgabe ohne Eintrag im Logfile hatte ich mal in Verbindung mit dem Zend Encoder.

Solltest Du virtualhosts eingerichtet haben, kann ich mir auch vorstellen, dass die Konfiguration durcheinander geraten ist. Da gibt es allerdings tausend Variationen, die ich jetzt nicht alle beleuchten möchte, ohne genaueres zu wissen.

Was siehst Du denn, wenn DU die robots.txt in einem Browser öffnest?
Was erscheint in den Logfiles, wenn DU die robots.txt oder eine Seite von der Domain im Browser aufrufst?

Des weiteren kann es natürlich alles mögliche sein

Um das Problem besser einschätzen zu können, bräuchte man mehr Infos.

sonnige Grüsse
HaPe

Beitrag von **Hobby_SEO79** » 01.03.2009, 05:49

Meine sitemap holt google auch total verzögert ab. Keep cool! Sicher ei9n Ressourcenprob von google ... löst sich sicher bald von selbst!

Beitrag von **r-alf** » 01.03.2009, 11:50

t-rex hat geschrieben: Was siehst Du denn, wenn DU die robots.txt in einem Browser öffnest?
Was erscheint in den Logfiles, wenn DU die robots.txt oder eine Seite von der Domain im Browser aufrufst?...

Erst mal Danke für die Antwort.

Zu Frage 1: ich sehe die robots.txt (ohne Fehler)
Zu Frage 2: im Logfile erscheine "ich", ganz normal mit Seite, IP, Browser ect.

Langsam vermute ich mein Provider blockt durch irgendein "Sicherheitsding" den G-bot. Alle anderen Bots spidern nämlich weiterhin fröhlich auf dieser Domain herum und holen auch die robots.txt regelmäßig ab.

Beitrag von **bennos** » 01.03.2009, 16:24

selbst wenn die robots.txt fehlerhaft ist, holt google sie ab und ignoriert den entsprechenden eintrag.
das wird es nicht sein. checke mal weiter deine server config.

habe dein posting auch mal zu anlass genommen einige meiner seiten anzuschauen. bei einem Projekt sind die Botbesuche um 50 % eingebrochen zum Vortag, aber das gibt sich.

Sofern keine Seiten aus dem Index verschwinden oder sich Pos. in der SERP ändern, würde ich sagen es ist ein kleines Ressource Problem, quasi ein kleiner Schluckauf.

Beitrag von **seonewbie** » 01.03.2009, 17:02

Hallo,

ganz blöde Frage welche rechte hat deine robots.txt denn?

Es gibt immer mal wieder admins die kein 777 mehr zulassen
und per cron checken ob .php . txt .htaccess 777 hat und setzen
das dann automatisch auf 766 oder 755. So was geht aber auch
schon mal schief und niemand ausser dem admin kann dann die
Datei lesen oder schreiben. Oft hilft Datei runter laden, Datei auf
dem Server löschen und wieder hoch laden.

Gute Nachricht wenn das hilft ist das Problem gelöst, schlechte
Nachricht andere Dateien können auch betroffen sein.

Gruß

Micha

Beitrag von **bennos** » 01.03.2009, 17:33

also die zugriffrechte müssen nur lesbar sein für die robots,txt. also reicht auch 444.
sorry das ist quatsch was du erzählst seonewbie.
Rechte 777 erteile man nur im Ausnahmefall, weil es eine Sicherheitslücke sein kann. In Shared Hosting Umgebungen wie PLesk oder Confixx kannst du problemlos lesen, schreiben und Ausführungrechte vergeben, weil dort sowieso alles beschränkt wird über User, Gruppen, usw. . Eine PHP Datei benötig schon gar nicht 777, wenn überhaupt dann einige Perlscripte.

den besitzer und die zugehörige gruppe könnte man noch checken, aber die LEse und Schreibrechte sind es nicht.

Beitrag von **t-rex** » 01.03.2009, 22:08

Zu Frage 1: ich sehe die robots.txt (ohne Fehler)
Zu Frage 2: im Logfile erscheine "ich", ganz normal mit Seite, IP, Browser ect.
...
Alle anderen Bots spidern nämlich weiterhin fröhlich auf dieser Domain herum und holen auch die robots.txt regelmäßig ab.

Okay, scheint ja dann normal zu funktionieren.

Langsam vermute ich mein Provider blockt durch irgendein "Sicherheitsding" den G-bot.

Hier würde ich mal ein paar Tests mit dem Übersetzungstool bzw. mit dem Mobile Browser ( glaube das war was mit /qwt in der Url ) fahren. Zusätzlich auch ein paar "Spider View" Tools und robots.txt Tester ausprobieren.

Beim Übersetzungstool und Mobile Browser von Google holt Google die Dateien von Deinem Server und zeigt Dir dann an, was er sieht. So kannst Du vielleicht ein paar Anhaltspunkte bekommen, ob evtl. IPs von Google blockiert werden.

Damit Du dich in den Logfiles wieder findest, hänge einen Parameter an die Abfrage. Sowas wie https://deinedomain.tld/robots.txt?par=test001

Erstelle dir zusätzlich noch eine Testdatei. In dieser Datei lässt Du dir die Servervariabeln anzeigen. Natürlich geht auch phpinfo(); übersichtlicher ist aber print_r($_SERVER). Komplett etwa so

Code: Alles auswählen

<pre>
<?
print_r&#40;$_SERVER&#41;;
?>
</pre>

Auch diese Datei lässt Du durch das Übersetzungstool bzw. den Mobile Browser laufen. Und auch hier die Testvariable anhängen.

Sonnige Grüsse
HaPe

Beitrag von **t-rex** » 01.03.2009, 22:12

Achja, einen Fehler mit einer .htaccess, die auf der Seite liegt, kann man wohl ausschliessen. Bei einem Forbidden oder Ausführungsfehler, würden sich ja Einträge im Logfile finden lassen.

Sonnige Grüsse
HaPe

Beitrag von **r-alf** » 02.03.2009, 16:17

@t-rex, Danke die für deine kompetenten Antworten. Ist ja hier nicht immer so

Alle Maßnahmen haben leider keine Auffälligkeiten ergeben, so dass ich mir immer noch nicht sicher bin an was das Alles gelegen haben könnte.
Seit 14:07 Uhr greift G wieder auf die Domain zu und der Spider rennt sich fast zu Tote

Ich kann nur vermuten, dass es am Provider lag der endlich mal auf meine Emails reagiert hat. Allerdings ohne Rückantwort

Aber das hat ja auch was Gutes -> mir fällt jetzt der Domainumzug leichter

Beitrag von **seoprofi3000** » 24.01.2010, 15:57

War das zufällig ein Provider in den "Neuen Ländern", bei dem alles inklusive ist?

Noch eine Frage:
Weißt du zufällig, wie ich eine eigene spider Vorschau auf meiner Homepage einsetzen kann?

Thanks!