Liest der Bot die gesamte 404 Seite oder haut er sofort ab,

Beitrag von **Google+ Import-Bot** » 16.02.2013, 14:21

Liest der Bot die gesamte 404 Seite oder haut er sofort ab, sobald er den 404 Header gelesen hat?
Autor2310: Viktor Dite

---

Wieviel liest der (Google)Bot von der Seite bei der Ausgabe eines 404 Headers?
Autor: Viktor Dite

Bild

Bildquelle

Quelle: https://plus.google.com/112457602357038 ... qwqjCvDBKx

von **Anzeige von ABAKUS** »

Beitrag von **MonikaTS** » 16.02.2013, 18:04

wie ich auch anderorts bereits geschrieben habe

"Bei StatusCode 404 oder 410 dreht der Googlebot um und indiziert den Inhalt dieser Seiten nicht."

Beitrag von **webbastler** » 17.02.2013, 19:18

Aus diesem Grunde sollte man eine eigene 404.html ins Netz stellen um die Fehlläufe wieder aufzufangen und auf den richtigen Weg zu bringen

von **Anzeige von ABAKUS** »

Beitrag von **elmex** » 17.02.2013, 20:18

Indizieren tut Google die eher nicht.
Aber LESEN tut er die auf JEDEN Fall - sieht man ja an den Logs, da wird die ganze (Fehler-)Seite abgefragt per GET und nicht nur eine HEAD Anfrage nach dem Status geschickt

Beitrag von **webbastler** » 18.02.2013, 09:21

Nur ab und zu gehen ich aus Langeweile in die Foren und amüsiere mich köstlich über den von der Mehrzahl erfundenen Schwachsinn, der mit offensichtlicher Überzeugung verbreitet wird.

Ja, aber der Transfer für den Kunden ist besser.
Hier eine meiner Übersichten:

Anfragen nach Status-Codes

Code 200 - OK
86.65%
852182
Code 206 - Unvollständiger Inhalt
0.36%
3585
Code 301 - Die Seite wurde dauerhaft an einen andere Stelle verlegt
0.00%
32
Code 302 - Die Seite wurde an einer anderer Stelle gefunden
10.73%
105517
Code 304 - Die Seite wurde nicht geändert
2.22%
21823
Code 400 - Ungültige Anfrage
0.01%
130
Code 403 - Die Antwort wurde verweigert
0.01%
142
Code 404 - Die Seite wurde nicht gefunden!
0.00%
2
Code 405 - Die Methode ist nicht erlaubt
0.01%
67

Beitrag von **vidi** » 18.02.2013, 15:36

Mir geht es nicht um die Indexierung. Dass Google die Seiten nicht indexiert ist klar. Mir geht es um die Bytes, die der Googlebot unnötig lesen müsste, alsbald er auf eine "schwere" 404 Seite mit Flasch, CSS Animations etc käme und um die Frage, ob die Custom 404 Page lieber möglichst klein gehalten werden muss, oder ob es wurscht ist.

Beitrag von **Melegrian** » 18.02.2013, 16:19

vidi hat geschrieben:Mir geht es nicht um die Indexierung. Dass Google die Seiten nicht indexiert ist klar. Mir geht es um die Bytes, die der Googlebot unnötig lesen müsste,

Warum jetzt inurl:404 bei mir gerade nicht mehr funktioniert, weiß ich nicht, vor ein paar Tagen ging es noch, doch mit allinurl:404 sollte ein Überblick möglich sein. Daraus kannst du entnehmen, dass Fehlerseiten, wenn sie nicht als Fehlerseiten ausgelöst werden, indiziert werden. Wenn der Crawler aber bei der Anfrage als HTTP-Statuscode einen 404 erhält, wird der die Seite nicht laden, sondern auf Grund des Statuscodes abbrechen und stattdessen versuchen die nächste URL aufzurufen, um sein Soll zu erfüllen.

Beitrag von **vidi** » 18.02.2013, 16:25

wird der die Seite nicht laden, sondern auf Grund des Statuscodes abbrechen

Ist das eine Annahme oder Ist das ein Fakt?

Beitrag von **Melegrian** » 18.02.2013, 16:39

vidi hat geschrieben:
wird der die Seite nicht laden, sondern auf Grund des Statuscodes abbrechen
Ist das eine Annahme oder Ist das ein Fakt?

Ich weiß nicht, wie die Googlebots programmiert sind, doch wenn das PHP schon mit cURL kann, dann werden die das noch besser können. Dafür ist der Statuscode ja eigentlich gedacht. Wenn Du es genau wissen möchtest, dann tracke die Aufrufe doch einfach einmal.

Vergas weiter oben noch zu erwähnen, Du musst Dir bei einer Abfrage mit allinurl:404 nur die Ergebnisse heraussuchen, welche tatsächlich auch Fehlerseiten sind und nicht nur über 404-Fehlerseiten berichten, auf der ersten Ergebnisseite ist bei mir nur eine dabei.

(404, file not found)
/404.html

Beitrag von **webbastler** » 18.02.2013, 17:45

Liebe Internetspezialisten, bitte entschuldigt meine naive Frage,

was zum Teufel wollt Ihr über die Fehlseite 404 wissen??

Das ist doch vollkommen gleichgültig ob der Google Crawler die Seite untersucht.

Fehlseite ist und bleibt eine Fehlseite,

aber man kann diese mit Text füllen und somit indirekt als Ersatzstartseite benutzen.

Bin ich jetzt im falschen Film??

Es geht doch immer nur um konstruktiven Internetauftritt, oder über was wird hier rumgealbert?

Beitrag von **vidi** » 18.02.2013, 17:52

Es geht um die Frage, ob solche 404 Seiten wie diese https://themes.roussounelosweb.gr/cerberus/404.html
den Bot zu lange aufhalten - denn das mag er nicht

Beitrag von **webbastler** » 18.02.2013, 18:00

So einen Unsinn.
Klar hält jede Seite etwas auf, aber was soll der Quatsch, das Ranking wird von nur einer Fehlseite nicht beeinträchtigt,

und was stört uns die fehlende milli-millisekunde.

Leitet doch die 404 indirekt auf die Startseite um und wir sind wieder für den Kunden im netzt.

Beitrag von **vidi** » 18.02.2013, 18:15

Leitet doch die 404 indirekt auf die Startseite um und wir sind wieder für den Kunden im netzt.

das nennt sich dann "Soft 404" und ist keine gute Idee

Beitrag von **vidi** » 18.02.2013, 18:19

Zu der Sache mit der Ladezeit. Google mag u.A. kein Duplicate Content, weil der Bot wertvolle Zeit fürs Crawling für Nontent verbraucht.
In dem gezeigten Beispiuel geht es nicht um milisekunden sondern um eine beträchtliche Seitengröße von 1.5 MB - für "nix und wieder nix" - aus seinen Augen - und das immer und immer und immer wieder

Beitrag von **Melegrian** » 18.02.2013, 18:25

vidi hat geschrieben:In dem gezeigten Beispiuel geht es nicht um milisekunden sondern um eine beträchtliche Seitengröße von 1.5 MB - für "nix und wieder nix" - aus seinen Augen - und das immer und immer und immer wieder

Nun frag ich mich, warum ist eine Fehlerseite so groß?
Die würde ich doch in einer bescheidenen Größe halten, damit die möglichst schnell ladet.